Siento que la observación más banal y subestimada sobre los LLM es que un algoritmo puede tener un rendimiento sobrehumano de muchas maneras diferentes. Es un espacio de alta dimensión, en el que un vector es "capacidad de explosión, disponibilidad 24/7, rendimiento humano del percentil 20 al 95% del tiempo."

Hay muchas aplicaciones para las que nunca deberías adoptar algo en ese vector y hay muchas aplicaciones para las que eso es transformador. Dado que ese vector es desconocido para la historia antes de hace aproximadamente un año, ni siquiera nos hemos detenido a pensar qué haríamos con él.

Muchas personas que nunca han necesitado diseñar un proceso para generar decisiones repetitivas subestiman cuántos procesos en la economía generan decisiones repetitivas.

Y hay muchas cosas que una empresa/etc. no hizo porque un estudio de viabilidad u otro ejercicio de planificación dijo "Ugh, necesitaríamos personal 24/7 o un modelo de seguir el sol para hacer esto que sería una declaración if si tuviera una forma diferente. Lamentablemente, eso implica..."

Ahora cada estudio de viabilidad necesita contemplar "P: ¿Es esta una actividad donde pagar-dólares-consumir-tokens es básicamente suficiente sin más reflexión, o es una donde un proyecto de ingeniería más tokens nos lleva allí?"

Hay una objeción poco sofisticada sobre esto que dice que no se puede diseñar de manera útil un sistema con objetivos de SLA a partir de componentes que alucinan. Tengo malas noticias para ti sobre los humanos que trabajan en sistemas. Por otro lado, tengo buenas noticias: hay sistemas no nulos que funcionan.

“OMG, una tasa de error. Déjenlo, chicos.”, dijo el campo de la Investigación de Operaciones en una terrible distopía en la que no vivimos.