Je pense que l'observation la plus banale et sous-évaluée concernant les LLM est qu'un algorithme peut avoir une performance surhumaine de plusieurs manières. C'est un espace de haute dimension, dans lequel un vecteur est "capacité d'éclatement, disponibilité 24/7, performance humaine au 20e percentile 95 % du temps."

Il existe de nombreuses applications pour lesquelles vous ne devriez jamais adopter quelque chose dans ce sens, et il y a de nombreuses applications pour lesquelles cela est transformateur. Comme ce vecteur est inconnu de l'histoire avant environ un an, nous n'avons même pas pris le temps de réfléchir à ce que nous en ferions.

De nombreuses personnes qui n'ont jamais eu besoin d'architecturer un processus pour générer des décisions répétitives sous-estiment combien de processus dans l'économie génèrent des décisions répétitives.

Et il y a beaucoup de choses qu'une entreprise/etc. n'a pas faites parce qu'une étude de faisabilité ou un autre exercice de planification a dit "Ugh, nous aurions besoin d'un personnel 24/7 ou d'un modèle de suivi du soleil pour faire cette chose qui serait une instruction if si elle était façonnée différemment. Malheureusement, cela implique..."

Maintenant, chaque étude de faisabilité doit envisager : « Q : S'agit-il d'une activité où payer-des-dollars-consommer-des-tokens est essentiellement suffisant sans réflexion supplémentaire, ou est-ce une activité où un projet d'ingénierie plus des tokens nous y amène ? »

Il existe une objection peu sophistiquée à ce sujet qui dit que vous ne pouvez pas architecturer utilement un système avec des objectifs SLA à partir de composants qui hallucinent. J'ai de mauvaises nouvelles pour vous concernant les humains travaillant dans des systèmes. J'ai de bonnes nouvelles, d'autre part : il existe des systèmes non nuls qui fonctionnent.

« OMG un taux d'erreur. Rangez ça, les gars. », a déclaré le domaine de la recherche opérationnelle dans une terrible dystopie dans laquelle nous ne vivons pas.