Aqui está o porquê de a engenharia de contexto ser tão importante. Acabámos de passar 2 horas a debater quando um agente deve confiar no seu conhecimento interno em vez de tentar encontrar contexto relevante nos dados para apenas um tipo de pergunta. Conseguimos passar por 2 casos de teste de centenas. Mesmo as pessoas envolvidas na sessão de brainstorming não conseguiram concordar sobre o que esperariam que os humanos fizessem nesta situação. Não havia realmente uma resposta certa, e é sempre específico ao contexto, cliente por cliente. Tudo na engenharia de contexto é um compromisso entre uma variedade de fatores: quão rápido você quer que o agente responda a uma pergunta, quanta interação de ida e volta você quer exigir do usuário, quanto trabalho ele deve fazer antes de tentar responder a uma pergunta, como ele sabe que tem o material fonte exaustivo para responder à pergunta, qual é o nível de risco da resposta errada, e assim por diante. Cada decisão que você toma em uma dessas dimensões tem uma consequência na outra extremidade. Não há almoço grátis. É por isso que construir agentes de IA é tão insano. Isso também destaca o quanto de valor existe acima da camada LLM. Tomar essas decisões corretamente está diretamente relacionado à qualidade da proposta de valor.