Sento che l'osservazione più banale e sottovalutata sugli LLM è che un algoritmo può avere prestazioni sovrumane in molti modi diversi. È uno spazio ad alta dimensione, in cui un vettore è "capacità di esplosione, disponibilità 24/7, prestazioni umane al 20° percentile per il 95% del tempo."

Ci sono molte applicazioni per le quali non dovresti mai adottare qualcosa su quel vettore e ci sono molte applicazioni per le quali questo è trasformativo. Poiché quel vettore è sconosciuto alla storia prima di circa un anno fa, non ci siamo nemmeno fermati a pensare a cosa faremmo con esso.

Molte persone che non hanno mai dovuto architettare un processo per generare decisioni ripetitive sottovalutano quanti processi nell'economia generano decisioni ripetitive.

E ci sono molte cose che un'azienda/ecc. non ha fatto perché uno studio di fattibilità o un altro esercizio di pianificazione ha detto "Ugh, avremmo bisogno di personale 24 ore su 24, 7 giorni su 7, o di un modello che segua il sole per fare questa cosa che sarebbe un'istruzione if se fosse modellata diversamente. Purtroppo, ciò implica..."

Ora ogni studio di fattibilità deve contemplare: "D: È un'attività in cui pagare-con-dollari-consumare-token è sostanzialmente sufficiente senza ulteriori riflessioni, o è una di quelle in cui un progetto ingegneristico più token ci porta a questo punto?"

C'è un'obiezione poco sofisticata a riguardo che dice che non puoi architettare utilmente un sistema con obiettivi SLA a partire da componenti che allucinano. Ho brutte notizie per te riguardo agli esseri umani che lavorano nei sistemi. D'altra parte, ho buone notizie: ci sono sistemi non nulli che funzionano.

“OMG un tasso di errore. Mettete via, ragazzi.”, ha detto il campo della Ricerca Operativa in una terribile distopia in cui non viviamo.