Condivido una conversazione recente interessante sull'impatto dell'AI sull'economia. L'AI è stata paragonata a vari precedenti storici: elettricità, rivoluzione industriale, ecc., penso che l'analogia più forte sia quella dell'AI come un nuovo paradigma di calcolo (Software 2.0) perché entrambi riguardano fondamentalmente l'automazione dell'elaborazione delle informazioni digitali. Se dovessi prevedere l'impatto del calcolo sul mercato del lavoro negli anni '80, la caratteristica più predittiva di un compito/lavoro che considereresti è fino a che punto l'algoritmo di esso è fisso, cioè stai semplicemente trasformando meccanicamente le informazioni secondo regole facili da specificare (ad es. digitazione, contabilità, calcolatori umani, ecc.)? All'epoca, questa era la classe di programmi che la capacità di calcolo di quell'epoca ci permetteva di scrivere (a mano, manualmente). Con l'AI ora, siamo in grado di scrivere nuovi programmi che non avremmo mai potuto scrivere a mano prima. Lo facciamo specificando obiettivi (ad es. accuratezza di classificazione, funzioni di ricompensa), e cerchiamo nello spazio dei programmi tramite discesa del gradiente per trovare reti neurali che funzionano bene rispetto a quell'obiettivo. Questo è il mio post sul blog di Software 2.0 di un po' di tempo fa. In questo nuovo paradigma di programmazione, quindi, la nuova caratteristica più predittiva da considerare è la verificabilità. Se un compito/lavoro è verificabile, allora è ottimizzabile direttamente o tramite apprendimento per rinforzo, e una rete neurale può essere addestrata per funzionare estremamente bene. Riguarda fino a che punto un'AI può "praticare" qualcosa. L'ambiente deve essere ripristinabile (puoi iniziare un nuovo tentativo), efficiente (possono essere fatti molti tentativi) e premiabile (c'è qualche processo automatizzato per premiare qualsiasi tentativo specifico che è stato fatto). Più un compito/lavoro è verificabile, più è suscettibile all'automazione nel nuovo paradigma di programmazione. Se non è verificabile, deve cadere nella magia della generalizzazione delle reti neurali, incrociando le dita, o tramite mezzi più deboli come l'imitazione. Questo è ciò che guida il confine "frastagliato" del progresso nei LLM. I compiti che sono verificabili progrediscono rapidamente, inclusi possibilmente oltre la capacità dei migliori esperti (ad es. matematica, codice, quantità di tempo trascorso a guardare video, qualsiasi cosa che assomigli a puzzle con risposte corrette), mentre molti altri rimangono indietro in confronto (creativi, strategici, compiti che combinano conoscenze del mondo reale, stato, contesto e buon senso). Il Software 1.0 automatizza facilmente ciò che puoi specificare. Il Software 2.0 automatizza facilmente ciò che puoi verificare.