Eu sinto que a observação mais banal e subestimada sobre LLMs é que um algoritmo pode ter desempenho sobre-humano de muitas maneiras diferentes. É um espaço de alta dimensão, no qual um vetor é "capacidade de explosão, disponibilidade 24 horas por dia, 7 dias por semana, desempenho humano do 20º percentil 95% do tempo".

Existem muitas aplicações para as quais você nunca deve adotar algo nesse vetor e há muitas aplicações para as quais isso é transformador. Como esse vetor é desconhecido na história antes ~ um ano atrás, nem paramos para pensar no que faríamos com ele.

Muitas pessoas que nunca precisaram arquitetar um processo para gerar decisões repetitivas subestimam quantos processos na economia geram decisões repetitivas.

E há muitas coisas que uma empresa / etc não fez porque um estudo de viabilidade ou outro exercício de planejamento disse: "Ugh, precisaríamos de pessoal 24 horas por dia, 7 dias por semana ou um modelo de seguir o sol para fazer isso, isso seria uma declaração if se tivesse um formato diferente. Infelizmente, isso implica..."

Agora, todo estudo de viabilidade precisa contemplar "P: Esta é uma atividade em que pagar dólares consome tokens é basicamente suficiente sem pensar mais, ou é aquela em que um projeto de engenharia mais tokens nos leva até lá?"

Há uma objeção pouco sofisticada sobre isso que diz que você não pode arquitetar de forma útil um sistema com metas de SLA a partir de componentes que alucinam. Tenho más notícias para você sobre humanos trabalhando em sistemas. Tenho boas notícias, OTOH: existem sistemas diferentes de zero que funcionam.

"OMG uma taxa de erro. Embale-o, rapazes.", disse o campo da Pesquisa Operacional em uma terrível distopia em que não vivemos.