Aquí está el porqué de que la ingeniería de contexto sea un gran problema. Acabamos de pasar 2 horas debatiendo cuándo un agente debería confiar en su conocimiento interno frente a intentar encontrar contexto relevante dentro de los datos para solo un tipo de pregunta. Solo logramos avanzar en 2 casos de prueba de cientos. Incluso las personas involucradas en la lluvia de ideas no pudieron ponerse de acuerdo sobre lo que esperarían que hicieran los humanos en esta situación. Realmente no había una respuesta correcta, y siempre es específica del contexto, cliente por cliente. Todo en la ingeniería de contexto es un compromiso entre una variedad de factores: ¿qué tan rápido quieres que el agente responda a una pregunta?, ¿cuánta interacción de ida y vuelta quieres requerir del usuario?, ¿cuánto trabajo debería hacer antes de intentar responder a una pregunta?, ¿cómo sabe que tiene el material fuente exhaustivo para responder a la pregunta?, ¿cuál es el nivel de riesgo de la respuesta incorrecta?, y así sucesivamente. Cada decisión que tomas en una de estas dimensiones tiene una consecuencia en el otro extremo. No hay almuerzo gratis. Por eso es tan emocionante construir agentes de IA. También resalta cuánto valor hay por encima de la capa de LLM. Tomar estas decisiones correctamente se relaciona directamente con la calidad de la propuesta de valor.

De la última publicación de Karpathy: "Las aplicaciones de LLM organizarán, ajustarán y animarán equipos de ellos en profesionales desplegados en verticales específicas al proporcionar datos privados, sensores, actuadores y bucles de retroalimentación." Esto es exactamente correcto. En un mundo de agentes de IA, hay una capa mucho más gruesa sobre el LLM de lo que se percibió inicialmente. La crítica del envoltorio delgado funcionó en un mundo donde las personas estaban reempaquetando tokens con una interfaz o un aviso del sistema ligeramente personalizados, que era prácticamente todo lo que era posible hace 2 años. Pero los agentes de IA combinarán herramientas, datos propietarios, avisos del sistema altamente específicos de dominio, interfaces especializadas para las partes de los flujos de trabajo que involucran a humanos, ingeniería de contexto avanzada para lidiar con los límites de la ventana de contexto, y más. La gran mayoría de estos funcionará mejor cuando se adapten a un vertical específico, función laboral o tipo de tarea. Además, para lograr una adopción real en la empresa, generalmente se necesita un alto grado de integración de sistemas y gestión del cambio para impulsar los cambios en los flujos de trabajo y la adopción. Por eso, las empresas (o al menos los productos) centrados en oportunidades específicas a menudo serán necesarios para realmente impulsar estos flujos de trabajo. Hay toneladas de oportunidades aquí en el año que viene.

Estas son las cosas que se pasan por alto al pensar en el futuro de los empleos. Si puedes hacer algo que está en relativamente alta demanda (pero escaso porque cuesta mucho hacerlo), y logras que esa cosa tenga más producción, verás que la demanda aumenta y no disminuye. He visto numerosos ejemplos de empresas contratando ingenieros para problemas que no habrían sido rentables o posibles antes de que existieran los agentes de IA. Hay mucho trabajo en la economía que debería estar habilitado por software, pero la barrera para comenzar con el software parece insuperable cuando el proyecto parece que tomará uno o dos años. Cuando la IA hace que tome un mes o dos, todo el cálculo cambia. Lo mismo será cierto en la atención médica, el derecho, algunas partes del marketing y muchas otras categorías de trabajo del conocimiento.