Aquí está por qué la ingeniería del contexto es tan importante. Acabamos de pasar 2 horas debatiendo cuándo un agente debe basarse en su conocimiento interno frente a intentar encontrar contexto relevante dentro de los datos para un solo tipo de pregunta. Hemos pasado por 2 casos de prueba de cientos. Ni siquiera las personas implicadas en la lluvia de ideas podían ponerse de acuerdo en lo que esperarían que hicieran los humanos en esta situación. Realmente no había una respuesta correcta, y siempre depende del contexto de cada cliente. Todo en ingeniería de contexto es un equilibrio entre varios factores: ¿qué tan rápido quieres que el agente responda a una pregunta, cuánta interacción quieres que el usuario requiera de ida y vuelta, cuánto trabajo debe hacer antes de intentar responder a una pregunta, cómo sabe que tiene el material fuente exhaustivo para responder a la pregunta, ¿Cuál es el nivel de riesgo de la respuesta incorrecta, y así sucesivamente? Cada decisión que tomes en una de estas dimensiones tiene una consecuencia en el otro extremo. Nada es gratis. Por eso construir agentes de IA es tan loco. También resalta el valor que hay por encima de la capa LLM. Acertar en estas decisiones se relaciona directamente con la calidad de la propuesta de valor.