Филип Кларк (@PJClark), партнер в Thrive Capital (@ThriveCapital), опирается на инвестиции в OpenAI, Cursor, Physical Intelligence и свой опыт в полупроводниках, чтобы выделить 3 основных вывода о состоянии разработки ИИ: 1.) Прорывы в ИИ не линейны. Они происходят в архитектурных волнах, как и кремний. Аналогия Филипа с полупроводниками переосмысляет прогресс ИИ как последовательность парадигмальных сдвигов, похожих на аппаратные. Когда один путь достигает своего предела (один ядро → многоядерные; предобучение → постобучение), возникает новая архитектура. ИИ не эволюционирует через инкрементальную настройку... он продвигается через структурные переосмысления. 2.) Обучение с подкреплением — это следующая архитектурная эпоха (на данный момент) Филип рассматривает обучение с подкреплением как преемника постобучения: новую основу, а не оптимизацию. Но критически важно, что он подчеркивает, что это не будет последним. Как аппаратное обеспечение продолжало прыгать от одного ядра к многоядерным и GPU, ИИ будет испытывать множество парадигмальных волн, каждая из которых открывает новые пределы производительности. Обучение с подкреплением — это просто следующая волна, а не последняя. 3.) У OpenAI нет защитного барьера в моделях... это их способность продолжать открывать следующую парадигму. Филип утверждает, что основное преимущество находится выше продукта: каждый крупный архитектурный прорыв в больших моделях возникал в OpenAI. Их защищенность заключается в том, что они постоянно изобретают "следующее" в то время, как одновременно операционализируют предыдущее... редкое сочетание в любой отрасли, не говоря уже о той, которая определяется дискретными скачками. . . . Молли: "Один из спонсоров, который с гордостью спонсирует Sourcery, это @turingcom, и поэтому я получила доступ к стороне исследований ИИ — акселератору исследований ИИ [мы брали интервью у CEO, @jonsidd]. Они помогают с моделями. И сейчас они замечают резкий сдвиг за последние квартал или два от имитационных данных и синтетических данных к обучению с подкреплением. Мне интересно, как вы это видите с технической стороны, а затем и с точки зрения применения?" Филип: "Я думаю, что ИИ немного похож на полупроводники в том смысле — если мне позволено вернуться к полупроводникам, великому камню преткновения. В том смысле, что есть много, много волн, когда мы пытаемся добиться все лучших и лучших результатов. Знаете, с полупроводниками у нас раньше были одноядерные полупроводники. Затем мы не могли больше ничего выжать из одного ядра, и поэтому мы перешли к многоядерным. А затем мы перешли к GPU. И я думаю, что мы видим нечто очень похожее с ИИ, который начался с предобучения в эпоху GPT-1, GPT-2, GPT-3. Это привело нас к GPT-4. Затем мы начали использовать много техник постобучения для ChatGPT — контролируемая донастройка, обучение с подкреплением с человеческой обратной связью. Это позволило моделям стать менее инопланетными интеллектами и более полезными помощниками. А теперь, когда много низко висящих плодов из этих достижений было собрано (хотя, вероятно, еще много чего можно сделать), обучение с подкреплением стало следующим большим парадигмальным сдвигом в ИИ и туда направляется много ресурсов....