Veja por que a engenharia de contexto é tão importante. Acabamos de passar 2 horas debatendo quando um agente deve confiar em seu conhecimento interno versus tentar encontrar contexto relevante dentro dos dados para apenas um tipo de pergunta. Passamos por 2 casos de teste de centenas. Nem mesmo as pessoas envolvidas no brainstorm concordaram sobre o que esperariam que os humanos fizessem nessa situação. Realmente não havia uma resposta certa, e sempre depende do contexto de cada cliente. Tudo em engenharia de contexto é um equilíbrio entre vários fatores: quão rápido você quer que o agente responda a uma pergunta, quanta interação você quer exigir do usuário, quanto trabalho ele deve fazer antes de tentar responder uma pergunta, como ele sabe que tem o material de origem exaustivo para responder à pergunta, Qual é o nível de risco da resposta errada, e assim por diante. Cada decisão que você toma em uma dessas dimensões tem uma consequência do outro lado. Não existe nada de graça. É por isso que construir agentes de IA é tão louco. Também destaca o quanto há de valor acima da camada do LLM. Acertar essas decisões está diretamente relacionado à qualidade da proposta de valor.

Do post mais recente de Karpathy: "Os aplicativos LLM vão organizar, ajustar e realmente animar equipes deles em profissionais implantados em setores específicos, fornecendo dados privados, sensores, atuadores e loops de feedback." Isso é exatamente isso. Em um mundo de agentes de IA, há uma camada muito mais espessa acima do LLM do que se percebia inicialmente. A crítica ao invólucro fino funcionou um pouco em um mundo onde as pessoas reembalavam tokens com uma interface levemente personalizada ou prompt do sistema, o que era praticamente tudo o que era possível há 2 anos. Mas os agentes de IA combinarão ferramentas, dados proprietários, prompts de sistema altamente específicos do domínio, interfaces especializadas para as partes humanas no loop dos fluxos de trabalho, engenharia de contexto avançada para lidar com limites de janelas de contexto e muito mais. A grande maioria desses desempenhos terá melhor desempenho quando adaptada a um setor específico, função ou tipo de tarefa. Além disso, para obter uma adoção real nas empresas, geralmente é necessário um grande grau de integração de sistemas e gestão de mudanças para impulsionar as mudanças e adoção do fluxo de trabalho. É por isso que empresas (ou pelo menos produtos) focadas em oportunidades específicas muitas vezes serão necessárias para realmente impulsionar esses fluxos de trabalho. Muitas oportunidades aqui no ano que vem.

Essas são coisas que se deixam passar ao pensar no futuro dos empregos. Se você consegue fazer algo que está relativamente em alta demanda (mas escasso porque custa caro para fazer), e faz com que essa coisa tenha mais produção, verá a demanda subir e não diminuir. Vi inúmeros exemplos de empresas contratando engenheiros para problemas que não teriam sido positivos ou possíveis para o retorno do investimento antes da existência de agentes de IA. Há muito trabalho na economia que deveria ser habilitado por software, mas a barreira para começar com software parece intransponível quando o projeto parece que vai levar um ou dois anos. Quando a IA faz com que leve um ou dois meses, todo o cálculo muda. O mesmo acontecerá na área da saúde, direito, algumas áreas do marketing e muitas outras categorias de trabalho do conhecimento.