Siento que la observación más banal y de bajo precio sobre los LLM es que un algoritmo puede tener un rendimiento sobrehumano de muchas maneras diferentes. Es un espacio de alta dimensión, en el que un vector es "capacidad de ráfaga, disponibilidad 24/7, rendimiento humano del percentil 20 el 95% del tiempo".

Hay muchas aplicaciones para las que nunca se debe adoptar algo en ese vector y hay muchas aplicaciones para las que eso es transformador. Como ese vector es desconocido para la historia antes de ~hace ~ un año, ni siquiera nos hemos detenido a pensar qué haríamos con él.

Muchas personas que nunca han necesitado diseñar un proceso para generar decisiones repetitivas subestiman cuántos procesos en la economía generan decisiones repetitivas.

Y hay muchas cosas que una empresa / etc. no hizo porque un estudio de factibilidad u otro ejercicio de planificación dijo: "Uf, necesitaríamos personal las 24 horas del día, los 7 días de la semana o un modelo de seguimiento del sol para hacer esto que sería una declaración si tuviera una forma diferente. Lamentablemente, eso implica..."

Ahora cada estudio de factibilidad debe contemplar "P: ¿Es esta una actividad en la que pagar dólares-consumir-tokens es básicamente suficiente sin pensarlo más, o es una en la que un proyecto de ingeniería más tokens nos lleva allí?"

Hay una objeción poco sofisticada sobre esto que dice que no se puede diseñar de manera útil un sistema con objetivos de SLA a partir de componentes que alucinan. Tengo malas noticias para ti sobre los humanos que trabajan en sistemas. Tengo buenas noticias, OTOH: hay sistemas distintos de cero que funcionan.

"Dios mío, una tasa de error. Empacadlo, muchachos", dijo el campo de la Investigación Operativa en una terrible distopía en la que no vivimos.