Aquí está el porqué de que la ingeniería de contexto sea un gran problema. Acabamos de pasar 2 horas debatiendo cuándo un agente debería confiar en su conocimiento interno frente a intentar encontrar contexto relevante dentro de los datos para solo un tipo de pregunta. Solo logramos avanzar en 2 casos de prueba de cientos. Incluso las personas involucradas en la lluvia de ideas no pudieron ponerse de acuerdo sobre lo que esperarían que hicieran los humanos en esta situación. Realmente no había una respuesta correcta, y siempre es específica del contexto, cliente por cliente. Todo en la ingeniería de contexto es un compromiso entre una variedad de factores: ¿qué tan rápido quieres que el agente responda a una pregunta?, ¿cuánta interacción de ida y vuelta quieres requerir del usuario?, ¿cuánto trabajo debería hacer antes de intentar responder a una pregunta?, ¿cómo sabe que tiene el material fuente exhaustivo para responder a la pregunta?, ¿cuál es el nivel de riesgo de la respuesta incorrecta?, y así sucesivamente. Cada decisión que tomas en una de estas dimensiones tiene una consecuencia en el otro extremo. No hay almuerzo gratis. Por eso es tan emocionante construir agentes de IA. También resalta cuánto valor hay por encima de la capa de LLM. Tomar estas decisiones correctamente se relaciona directamente con la calidad de la propuesta de valor.