Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

宝玉
Prompt Engineer, предназначенный для изучения и распространения знаний об искусственном интеллекте, разработке программного обеспечения и управлении инженерией.
Критика AI-ассистентов: это правда?
> Я работаю в службе поддержки, и меня действительно раздражает, что AI-ассистенты не понимают человеческую речь. Клиенты изначально не так уж и злы, но как только они начинают общаться с AI, все, кто переводится на живого оператора, это клиенты, которые в ярости.

13,2K
Отчет от Apollo Academy, который прямо указывает на проблему: «Уровень принятия ИИ начинает стабилизироваться». В отчете приводятся данные Бюро переписи населения США и финансово-технологической компании Ramp, указывая на то, что скорость принятия ИИ компаниями не только не демонстрирует экспоненциального роста, но даже в крупных компаниях наблюдаются признаки стагнации или даже снижения.


6,68K
Илья сделал уточнение и дополнение к содержанию своего интервью:
> В интервью есть момент, который я не объяснил достаточно ясно, добавлю:
> Продолжая масштабировать по текущему методу — накапливая вычислительную мощность, данные и тренировочную среду — это определенно приведет к улучшениям. Не будет стагнации, будет продолжение улучшений.
> Но всегда будет не хватать чего-то важного.
Это исправление возможного недоразумения. В интервью он много говорил о «возвращении к исследовательской эпохе» и «текущие методы столкнутся с проблемами», что может создать впечатление, что он пессимистично настроен по поводу закона масштабирования, полагая, что продолжение накопления вычислительной мощности, данных и RL-тренировок будет неэффективным.
Он сказал, что это не так, текущий путь будет продолжать приносить улучшения, не будет стагнации. Модель будет продолжать становиться сильнее, бенчмарки будут продолжать расти, продукты будут продолжать обновляться, компания будет продолжать зарабатывать.
Обратите внимание на «но» в конце.
Некоторые вещи, как бы вы ни масштабировали, вы не получите.
Это похоже на то, как вы тренируетесь в спринте. Продолжая тренироваться, результаты все равно будут улучшаться, с 12 секунд до 11.5, затем до 11 секунд, даже до 10.9. Это реальный прогресс. Но если ваша цель — научиться летать, то не имеет значения, как быстро вы бегаете, для этого нужны совершенно другие способности.
Чего не хватает?
С учетом содержания интервью, это "важное отсутствие" должно означать:
1. Настоящая способность к обобщению.
Это не просто возможность выполнять множество задач после обучения на огромном количестве данных, а способность быстро учиться на небольшом опыте и при этом полученные знания остаются стабильными и надежными в новых ситуациях.
2. Эффективное обучение.
Человек учится водить машину за 10 часов, а программированию — за несколько месяцев, чтобы начать работать. Эта эффективность не может быть достигнута за счет предобучения на огромных объемах данных.
Аналогия с «двумя студентами» в интервью очень хорошо иллюстрирует проблему. Студент, который решает задачи в течение 10 000 часов, действительно может продолжать улучшать свои результаты в соревнованиях, с 10% до 1% и до чемпионства, это реальный прогресс. Но он никогда не станет тем студентом, который, практикуясь всего 100 часов, уже проявляет "одаренность".

Ilya Sutskever13 часов назад
Одна мысль, которую я высказал, но она не была понята:
- Масштабирование текущего процесса будет продолжать приводить к улучшениям. В частности, это не остановится.
- Но что-то важное продолжит отсутствовать.
21,56K
Топ
Рейтинг
Избранное

