Philip Clark (@PJClark), parceiro da Thrive Capital (@ThriveCapital), baseia-se em investimentos na OpenAI, Cursor, Physical Intelligence e na sua experiência em semicondutores para delinear 3 grandes conclusões sobre o estado do desenvolvimento da IA: 1.) As inovações da IA não são lineares. Elas surgem em ondas arquitetônicas, assim como o silício. A analogia de Philip com semicondutores reformula o progresso da IA como uma sequência de mudanças de paradigma semelhantes ao hardware. Quando um caminho atinge seu limite (de núcleo único → múltiplos núcleos; pré-treinamento → pós-treinamento), uma nova arquitetura emerge. A IA não está evoluindo através de ajustes incrementais... está avançando através de reinvenções estruturais. 2.) O aprendizado por reforço é a próxima era arquitetônica (por enquanto) Philip enquadra o aprendizado por reforço como o sucessor do pós-treinamento: uma nova fundação, não uma otimização. Mas, criticamente, ele enfatiza que não será a última. Assim como o hardware continuou a saltar de núcleo único para múltiplos núcleos e depois para GPUs, a IA experimentará múltiplas ondas de paradigma, cada uma desbloqueando novos tetos de desempenho. O aprendizado por reforço é simplesmente a próxima onda, não a final. 3.) O diferencial da OpenAI não são os modelos... é a sua capacidade de continuar descobrindo o próximo paradigma. Philip argumenta que a vantagem central está a montante do produto: cada grande avanço arquitetônico em grandes modelos teve origem na OpenAI. A sua defensabilidade vem da invenção repetida do "próximo grande feito" enquanto simultaneamente operacionaliza o anterior... uma combinação rara em qualquer setor, quanto mais em um definido por saltos descontínuos. . . . Molly: "Um dos patrocinadores que orgulhosamente apoia a Sourcery é a @turingcom, e assim eu tive exposição ao lado da pesquisa em IA—um acelerador de pesquisa em IA [entrevistamos o CEO, @jonsidd]. Eles ajudam com os modelos. E agora, eles estão notando uma mudança severa no último trimestre ou dois, de dados de imitação e dados sintéticos para aprendizado por reforço. Então, estou curiosa para saber como você está vendo isso do lado técnico, e também do lado da aplicação?" Philip: "Eu acho que a IA é um pouco como semicondutores, nesse sentido—se me permitem voltar aos semicondutores, o grande ponto de referência. No sentido de que há muitas, muitas ondas enquanto tentamos obter um desempenho cada vez melhor. Você sabe, com semicondutores, costumávamos ter semicondutores de núcleo único. Então, não conseguimos basicamente extrair mais nada de um único núcleo, e assim passamos para múltiplos núcleos. E então passamos para GPUs. E eu acho que estamos vendo algo muito semelhante com a IA, que é que começamos com pré-treinamento na era do GPT-1, GPT-2, GPT-3. Isso nos levou ao GPT-4. Então começamos a usar muitas técnicas de pós-treinamento para o ChatGPT—ajuste fino supervisionado, aprendizado por reforço com feedback humano. Isso é o que permitiu que os modelos fossem menos inteligências alienígenas e mais assistentes úteis. E agora, à medida que muitos dos frutos mais fáceis desses ganhos foram extraídos (mesmo que ainda haja muito mais a fazer), o aprendizado por reforço tem sido a próxima grande mudança de paradigma na IA e onde muitos dos recursos estão indo....