Philip Clark (@PJClark), partner w Thrive Capital (@ThriveCapital), opiera się na inwestycjach w OpenAI, Cursor, Physical Intelligence oraz swoim doświadczeniu w branży półprzewodników, aby przedstawić 3 kluczowe wnioski na temat stanu rozwoju AI: 1.) Przełomy w AI nie są liniowe. Pojawiają się w falach architektonicznych, tak jak krzem. Analogia Philipa do półprzewodników przekształca postęp AI w sekwencję zmian paradygmatów przypominających sprzęt. Gdy jedna ścieżka osiąga swoje ograniczenia (jedno rdzeń → wiele rdzeni; wstępne szkolenie → szkolenie po), pojawia się nowa architektura. AI nie ewoluuje poprzez stopniowe dostosowywanie... rozwija się poprzez strukturalne reinwencje. 2.) Uczenie przez wzmocnienie to następna era architektoniczna (na razie) Philip przedstawia uczenie przez wzmocnienie jako następcę szkolenia po: nowa podstawa, a nie optymalizacja. Ale krytycznie podkreśla, że nie będzie to ostatnie. Podobnie jak sprzęt skakał z jednego rdzenia do wielu rdzeni do GPU, AI doświadczy wielu fal paradygmatów, z których każda odblokowuje nowe limity wydajności. Uczenie przez wzmocnienie to po prostu następna fala, a nie ostatnia. 3.) Moat OpenAI nie polega na modelach... to ich zdolność do ciągłego odkrywania następnego paradygmatu. Philip twierdzi, że kluczowa przewaga leży powyżej produktu: każdy główny przełom architektoniczny w dużych modelach pochodzi z OpenAI. Ich obronność wynika z wielokrotnego wynajdywania „następnej rzeczy”, jednocześnie operacjonalizując poprzednią... rzadkie połączenie w każdej branży, nie mówiąc już o tej zdefiniowanej przez skokowe zmiany. . . . Molly: "Jednym ze sponsorów, który dumnie sponsoruje Sourcery, jest @turingcom, więc miałam okazję zapoznać się z badaniami AI—przyspieszaczem badań AI [przeprowadziliśmy wywiad z CEO, @jonsidd]. Pomagają w modelach. A teraz zauważają poważną zmianę w ostatnim kwartale lub dwóch z danych imitacyjnych i syntetycznych na uczenie przez wzmocnienie. Ciekawi mnie, jak to widzisz z technicznej strony, a także z perspektywy aplikacji?" Philip: "Myślę, że AI jest trochę jak półprzewodniki w pewnym sensie—jeśli mogę wrócić do półprzewodników, wielkiego kamienia milowego. W tym sensie, że jest wiele, wiele fal, gdy staramy się uzyskać coraz lepszą wydajność. Wiesz, w przypadku półprzewodników mieliśmy kiedyś półprzewodniki jednorodne. Potem nie mogliśmy już nic więcej wycisnąć z jednego rdzenia, więc przeszliśmy do wielu rdzeni. A potem przeszliśmy do GPU. I myślę, że widzimy coś bardzo podobnego w AI, które zaczęło się od wstępnego szkolenia w erze GPT-1, GPT-2, GPT-3. To doprowadziło nas do GPT-4. Potem zaczęliśmy używać wielu technik szkolenia po dla ChatGPT—nadzorowane dostrajanie, uczenie przez wzmocnienie z ludzkim feedbackiem. To pozwoliło modelom być mniej obcymi inteligencjami, a bardziej pomocnymi asystentami. A teraz, gdy wiele z łatwych do osiągnięcia korzyści z tych zysków zostało wyciśniętych (choć prawdopodobnie wciąż jest wiele do zrobienia), uczenie przez wzmocnienie stało się następnym wielkim przełomem w AI i tam kierowane są zasoby....