Dzielę się interesującą, niedawną rozmową na temat wpływu AI na gospodarkę. AI porównywano do różnych historycznych precedensów: elektryczności, rewolucji przemysłowej itd. Uważam, że najsilniejsza analogia to AI jako nowy paradygmat obliczeniowy (Software 2.0), ponieważ oba dotyczą zasadniczo automatyzacji przetwarzania informacji cyfrowych. Gdybyś miał prognozować wpływ obliczeń na rynek pracy w latach ~80-tych, najbardziej przewidywalną cechą zadania/pracy, na którą byś zwrócił uwagę, byłoby to, w jakim stopniu algorytm tego zadania jest ustalony, tzn. czy po prostu mechanicznie przekształcasz informacje zgodnie z łatwymi do określenia zasadami (np. pisanie, księgowość, ludzkie kalkulatory itd.)? Wtedy była to klasa programów, które możliwości obliczeniowe tamtej epoki pozwalały nam pisać (ręcznie, manualnie). Dzięki AI teraz jesteśmy w stanie pisać nowe programy, których nigdy wcześniej nie moglibyśmy napisać ręcznie. Robimy to, określając cele (np. dokładność klasyfikacji, funkcje nagrody), a następnie przeszukujemy przestrzeń programów za pomocą spadku gradientu, aby znaleźć sieci neuronowe, które dobrze działają w odniesieniu do tego celu. To jest mój wpis na blogu Software 2.0 sprzed pewnego czasu. W tym nowym paradygmacie programowania, nową najbardziej przewidywalną cechą, na którą należy zwrócić uwagę, jest weryfikowalność. Jeśli zadanie/praca jest weryfikowalna, to można je optymalizować bezpośrednio lub za pomocą uczenia przez wzmocnienie, a sieć neuronowa może być trenowana, aby działać niezwykle dobrze. Chodzi o to, w jakim stopniu AI może "ćwiczyć" coś. Środowisko musi być resetowalne (możesz rozpocząć nową próbę), efektywne (można przeprowadzić wiele prób) i nagradzające (istnieje jakiś zautomatyzowany proces, aby nagradzać każdą konkretną próbę, która została podjęta). Im bardziej zadanie/praca jest weryfikowalna, tym bardziej nadaje się do automatyzacji w nowym paradygmacie programowania. Jeśli nie jest weryfikowalna, musi opierać się na magii generalizacji sieci neuronowych, z nadzieją, lub za pomocą słabszych środków, takich jak naśladowanie. To napędza "ząbkowaną" granicę postępu w LLM. Zadania, które są weryfikowalne, postępują szybko, w tym być może poza możliwościami najlepszych ekspertów (np. matematyka, kod, czas spędzony na oglądaniu filmów, wszystko, co wygląda jak łamigłówki z poprawnymi odpowiedziami), podczas gdy wiele innych pozostaje w tyle w porównaniu (kreatywne, strategiczne, zadania, które łączą wiedzę o świecie, stan, kontekst i zdrowy rozsądek). Software 1.0 łatwo automatyzuje to, co możesz określić. Software 2.0 łatwo automatyzuje to, co możesz zweryfikować.