Philip Clark (@PJClark), sócio da Thrive Capital (@ThriveCapital), baseia-se em investimentos em OpenAI, Cursor, Physical Intelligence e sua experiência em semicondutores para apresentar três grandes conclusões sobre o estado do desenvolvimento da IA: 1.) Os avanços da IA não são lineares. Eles vêm em ondas arquitetônicas, assim como o silício. A analogia de Philip com semicondutores reformula o progresso da IA como uma sequência de mudanças de paradigma semelhantes a hardware. Quando um caminho atinge seu limite (núcleo único → multinúcleo; pré-treinamento → pós-treinamento), surge uma nova arquitetura. A IA não está evoluindo por ajustes incrementais... Está avançando por meio de reinvenções estruturais. 2.) Aprendizado por reforço é a próxima era arquitetônica (por enquanto) Philip enquadra o aprendizado por reforço como o sucessor do pós-treinamento: uma nova base, não uma otimização. Mas, o mais importante, ele enfatiza que não será a última. Assim como o hardware continuou saltando de single-core para multi-core e depois GPUs, a IA experimentará múltiplas ondas de paradigma, cada uma desbloqueando novos limites de desempenho. O aprendizado por reforço é simplesmente a próxima onda, não a última. 3.) O fosso do OpenAI não são os modelos... é sua capacidade de continuar descobrindo o próximo paradigma. Philip argumenta que a principal vantagem está na upstream do produto: toda grande inovação arquitetônica em grandes modelos teve origem na OpenAI. Sua defensabilidade vem de inventar repetidamente "a próxima coisa" enquanto simultaneamente operacionalizam a anterior... uma combinação rara em qualquer indústria, muito menos definida por saltos descontínuos. . . . Molly: "Um dos patrocinadores que orgulhosamente patrocina a Sourcery é @turingcom, então tive contato com o lado de pesquisa em IA — um acelerador de pesquisa em IA [entrevistamos CEOs, @jonsidd]. Eles ajudam com os modelos. E agora, eles estão notando uma mudança severa nos últimos um ou dois trimestres, passando de dados de imitação e dados sintéticos para aprendizado por reforço. Então estou curioso para saber como você está vendo isso do lado técnico e também do lado da aplicação?" Philip: "Acho que a IA é um pouco parecida com semicondutores, de certa forma — se me for permitido voltar aos semicondutores, o grande ponto de referência. No sentido de que há muitas, muitas ondas enquanto tentamos obter desempenho cada vez melhor. Sabe, com semicondutores, costumávamos ter semicondutores de núcleo único. Depois, basicamente não conseguimos extrair mais nada de um único núcleo, então passamos para multi-core. E então passamos para as GPUs. E acho que estamos vendo algo muito parecido com a IA, que começamos com o pré-treinamento na era GPT-1, GPT-2, GPT-3. Isso nos levou ao GPT-4. Depois começamos a usar muitas técnicas pós-treinamento para o ChatGPT — ajuste fino supervisionado, aprendizado por reforço com feedback humano. Foi isso que permitiu que os modelos fossem menos inteligências alienígenas e mais assistentes prestativos. E agora, enquanto muitos dos frutos mais acessíveis desses ganhos foram espremidos (mesmo que provavelmente ainda haja muito a ser feito), o aprendizado por reforço foi a próxima grande mudança de paradigma na IA e para onde muitos recursos estão indo....