Sinto que a observação mais banal e subvalorizada sobre os LLMs é que um algoritmo pode ter um desempenho sobre-humano de muitas maneiras diferentes. É um espaço de alta dimensão, no qual um vetor é "capacidade de explosão, disponibilidade 24/7, desempenho humano no 20º percentil 95% do tempo."

Existem muitas aplicações para as quais nunca deveríamos adotar algo nessa direção e existem muitas aplicações para as quais isso é transformador. Como essa direção é desconhecida na história antes de ~há um ano, nem sequer paramos para pensar no que faríamos com isso.

Muitas pessoas que nunca precisaram arquitetar um processo para gerar decisões repetitivas subestimam quantos processos na economia geram decisões repetitivas.

E há muitas coisas que uma empresa/etc não fez porque um estudo de viabilidade ou outro exercício de planejamento disse "Ugh, precisaríamos de pessoal 24/7 ou de um modelo que seguisse o sol para fazer esta coisa que seria uma instrução if se fosse moldada de forma diferente. Infelizmente, isso implica..."

Agora, cada estudo de viabilidade precisa contemplar "Q: É esta uma atividade onde pagar-dólares-consumir-tokens é basicamente suficiente sem mais reflexão, ou é uma onde um projeto de engenharia mais tokens nos leva até lá?"

Há uma objeção não sofisticada sobre isso que diz que não se pode arquitetar de forma útil um sistema com metas de SLA a partir de componentes que alucinam. Tenho más notícias para você sobre humanos trabalhando em sistemas. Por outro lado, tenho boas notícias: existem sistemas não nulos que funcionam.

“OMG uma taxa de erro. Parem com isso, rapazes.”, disse o campo da Pesquisa Operacional em uma terrível distopia em que não vivemos.