Modelos pequenos também podem ser bons raciocinadores. Aqui está o problema e a solução proposta: Modelos pequenos geralmente pioram quando você os SFT em traços CoT de professores. Este artigo atribui a falha ao desalinhamento distribucional e introduz a Decodificação Especulativa Reversa (RSD): durante a geração de rastreamento, o professor propõe tokens, mas o aluno só aceita tokens que são suficientemente prováveis em sua própria distribuição. O resultado são traços amigáveis ao aluno que preservam a correção, mantendo a surpresa passo a passo gerenciável. O RSD usa amostragem de rejeição para selecionar rastreamentos corretos e alinhados e emparelhá-los com prefixos UPFT para itens não resolvidos: treine rastreamentos completos onde o RSD encontra uma solução correta e treine os primeiros 128 tokens onde não. Quando aplicado a Qwen3-0,6B, a destilação direta de dados de rastreamento de raciocínio s1K-1.1 degrada o desempenho médio em 20,5%, enquanto o mesmo modelo treinado em traços de raciocínio gerados por RSD alcança melhorias significativas de 4,9%. Papel:

Ótimo trabalho mostrando a síntese imediata como um novo eixo de escala para o raciocínio. Bons dados de treinamento são escassos. Este trabalho mostra uma estrutura que pode possibilitar a construção de problemas de treinamento de alta qualidade para LLMs focados no raciocínio. Detalhes técnicos abaixo:

É incrível como o GPT-5 é um ótimo orquestrador. Se você estiver construindo um sistema agêntico semelhante ao Claude Code para qualquer domínio, o GPT-5 deve ser um de seus principais modelos. Se você estiver construindo sistemas multiagentes orquestrador-trabalhador para domínios além da codificação, o GPT-5 é obrigatório! O GPT-5 funciona bem para muitos domínios porque entende a intenção e pode raciocinar muito bem sobre muitos dados. É ótimo para preencher as lacunas, o que ajuda os desenvolvedores que normalmente subespecificam seus agentes. Os agentes de IA estão cheios de comportamentos emergentes interessantes e benéficos para a experiência do usuário, mas isso só é possível com modelos avançados, como o GPT-5, orquestrando a comunicação entre os sugestivos. Conforme mostrado na figura, usei-o para construir um sistema dinâmico e agencial para suporte ao cliente. Um agente orquestrador (alimentado por GPT-5) pode planejar e orquestrar com eficiência a recuperação eficaz de todos os tipos de informações (transcrições, KB interno, documentos, fóruns da Internet, etc.). Como este é um sistema de recuperação múltipla, você precisa de um modelo extremamente inteligente para lidar com a orquestração, pois os subagentes são flexíveis para extrair todos os tipos de contexto para o sistema. O GPT-5 permite essa flexibilidade com sua capacidade de lidar e raciocinar sobre uma ampla variedade de informações. Se as definições de sua ferramenta estiverem configuradas corretamente, isso aumentará ainda mais a capacidade do GPT-5 de aproveitar todas as ferramentas e contexto aos quais tem acesso. Se você usou o Claude Code com subagentes, sabe exatamente do que estou falando. De certa forma, todo esse sistema RAG agencial de suporte ao cliente foi construído com inspiração em Claude Code. Mas o melhor modelo para problemas além da codificação é o GPT-5. Eu construí uma avaliação para validar isso, então isso não era apenas resultados de olho. Acabei de cobrir isso com mais detalhes para meus subs da academia aqui: Além disso, descobri que o GPT-5-Codex funciona bem para esse fluxo de trabalho, mas ainda não é tão bom quanto o GPT-5. Também experimentei o GPT-5-mini e fiquei impressionado com sua eficácia neste caso de uso. O Claude 4 é muito caro para isso, e o Gemini 2.5 Pro não está nem perto do GPT-5 (embora também produza resultados aceitáveis). A maioria desses outros modelos carecia de consistência e às vezes chamava as ferramentas na ordem errada ou com parâmetros errados (faça suas avaliações de chamada de ferramentas para confirmar isso). Um pouco de ajuste de prompt do sistema pode ajudar, mas o GPT-5 ainda é superior.