Deler en interessant nylig samtale om AIs innvirkning på økonomien. AI har blitt sammenlignet med ulike historiske presedenser: elektrisitet, industriell revolusjon, etc., jeg tror den sterkeste analogien er AI som et nytt dataparadigme (Software 2.0) fordi begge grunnleggende handler om automatisering av digital informasjonsbehandling. Hvis du skulle forutsi virkningen av databehandling på arbeidsmarkedet på ~1980-tallet, er det mest prediktive trekket ved en oppgave/jobb du ville se på i hvilken grad algoritmen til den er fast, det vil si at du bare mekanisk transformerer informasjon i henhold til rutine, enkle å spesifisere regler (f.eks. skriving, bokføring, menneskelige kalkulatorer, etc.)? Den gang var dette klassen av programmer som databehandlingsevnen på den tiden tillot oss å skrive (for hånd, manuelt). Med AI nå er vi i stand til å skrive nye programmer som vi aldri kunne håpe å skrive for hånd før. Vi gjør det ved å spesifisere mål (f.eks. klassifiseringsnøyaktighet, belønningsfunksjoner), og vi søker i programrommet via gradientnedstigning for å finne nevrale nettverk som fungerer godt mot det målet. Dette er blogginnlegget mitt om Software 2.0 fra en stund siden. I dette nye programmeringsparadigmet er den nye mest prediktive funksjonen å se på verifiserbarhet. Hvis en oppgave/jobb er verifiserbar, kan den optimaliseres direkte eller via forsterkende læring, og et nevralt nett kan trenes til å fungere ekstremt bra. Det handler om i hvilken grad en AI kan "praktisere" noe. Miljøet må være tilbakestillbart (du kan starte et nytt forsøk), effektivt (mange forsøk kan gjøres) og belønningsbart (det er en automatisert prosess for å belønne ethvert spesifikt forsøk som ble gjort). Jo mer en oppgave/jobb er verifiserbar, jo mer mottakelig er den for automatisering i det nye programmeringsparadigmet. Hvis det ikke er verifiserbart, må det falle ut av nevrale nettmagi av generalisering krysser fingrene, eller via svakere midler som imitasjon. Det er dette som driver den "taggete" grensen for fremgang i LLM-er. Oppgaver som er verifiserbare utvikler seg raskt, inkludert muligens utenfor evnene til toppeksperter (f.eks. matematikk, kode, hvor mye tid brukt på å se videoer, alt som ser ut som gåter med riktige svar), mens mange andre henger etter i sammenligning (kreative, strategiske, oppgaver som kombinerer kunnskap fra den virkelige verden, stat, kontekst og sunn fornuft). Software 1.0 automatiserer enkelt det du kan spesifisere. Software 2.0 automatiserer enkelt det du kan verifisere.