Rozwiązaliśmy zagadkę śmierci @sama. Minął tydzień od premiery GPT-5 i myślimy, że w końcu rozumiemy zagadkę śmierci Sama. W przeddzień premiery GPT-4 pojawiła się wizualizacja danych, która pokazała liczbę parametrów modelu w porównaniu do GPT-3, która stała się wiralna. Implikuje to: większe wstępne szkolenie oznaczało znacznie lepszy model. Okazało się to prawdą w przypadku przeskoku z GPT-3 do GPT-4. Ale GPT-4.5 nauczyło nas, że skala wstępnego szkolenia to za mało — potrzebna jest również mieszanka technik, ekspertów, badaczy itd. Post o śmierci reprezentuje jeszcze większe koło niż mem z GPT-3 -> GPT-4, ale OpenAI zburzyło to metaforyczne wielkie koło modelem, który nie tylko jest większy, ale lepiej zaprojektowany — „router to wydanie”, jak to ujął SemiAnalysis. Niektórzy spodziewali się, że GPT-5 będzie superinteligencją i byli rozczarowani tym, co wydawało się być tylko stopniowym postępem. Ale jest wiele powodów, by być optymistą. GPT-5 wyraźnie przeszedł proces RL w sposób, który redukuje halucynacje, prawdopodobnie poprzez szkolenie na nieznanych / niemożliwych zadaniach badawczych i włączanie przykładów, w których eksperci modelowali stwierdzenie: „Dobra odpowiedź na to pytanie po prostu nie istnieje.” To ogromna poprawa. Rozmawialiśmy również w programie o tym, jak router GPT-5 ustawia OpenAI do naprawdę dominowania w handlu agentowym / monetyzowalnym darmowym poziomie — pozytywna prognoza dla superinteligencji. Karta Masa może być naprawdę zagrana tylko raz, a osobliwość nie będzie subsydiowana przez inwestorów venture capital. Będzie finansowana przez wolny przepływ gotówki. Klaster o wartości biliona dolarów zostanie zbudowany, a zapłaci za niego wysoce rentowna firma technologiczna, która może bezpośrednio zabezpieczyć inwestycję z dopasowanym modelem biznesowym. Osobliwość jest wciąż tysiące dni stąd, ale ogólnie na dobrej drodze.