Moderei uma discussão entre Dwarkesh, Dr. Burry e John Clark (da Anthropic) sobre discordâncias entre o grupo de pessoas mais informadas sobre IA, incluindo impacto futuro no emprego, se é uma bolha, etc. Obrigado à Substack por fazer isso acontecer.

Um sub-desacordo é até que ponto os LLMs, que este grupo concorda plenamente que podem fazer coisas comercialmente valiosas, são espinhosos e propensos a erros de maneiras difíceis de prever. Sim! Os humanos também. E, felizmente, temos bugs diferentes.

Um ponto destacado por Jack e que é uma das maiores lacunas de entendimento entre pessoas bem informadas e aquelas que precisam estar bem informadas: as capacidades de hoje são um piso, não um teto. Qualquer sistema futuro pode optar por entrar ou descartá-los.

Jack narra brevemente como os LLMs foram uma ruptura radical com a noção popular de que desenvolveríamos inteligência construindo cem mil bancos de teste, fazendo com que soluções pontuais aprendessem a vencer por pouco, e depois ??? Generalização implica inteligência.

Em vez disso, construímos uma ferramenta *impressionantemente* geral sobre o que se encaixa em um ambiente ("coloque em uma sala com cada documento escrito") e então aquilo que surgiu acaba sendo extremamente bem-sucedido quando você a coloca em novas tarefas. Os próximos anos podem envolver fazer camadas de teste.

Como observei: costumávamos treinar IAs para jogar StarCraft. Todas as tentativas futuras de fazer isso podem assumir que o sistema leu a Arte da Guerra no chinês original, a menos que o(s) arquiteto(s) acreditem que o conhecimento vai te tornar pior para impedir os ataques de zergling.

* Jack Clark, não John Clark. Desculpe, cresci lendo Tom Clancy. Um dia eles poderão pré-visualizar meus tweets, e eu vou me alegrar com o quanto menos ovo na cara acontece ao fazer um draft no celular.