tl;dr z wywiadu Dwarkesha Patela z Ilyą Sutskeverem • Obecne podejścia „przejdą pewną drogę, a potem się zatrzymają”, będą się poprawiać, ale nie dostarczą AGI. • Rodzaj systemu, który by działał, to coś, „czego jeszcze nie wiemy, jak zbudować”. • Oczekiwane są znaczące skutki dla rynku pracy w nadchodzących latach. • Głównym wąskim gardłem jest generalizacja. Modele są znacznie gorsze od ludzi w tym zakresie. • Możesz trenować na każdym problemie z programowania konkurencyjnego, a model i tak nie rozwinie prawdziwego „smaku”, podczas gdy nastolatek uczy się jeździć w ~10 godzin. • Wyniki ewaluacji wyglądają świetnie, ale wydajność w rzeczywistości pozostaje w tyle, ponieważ trening RL kończy się optymalizowaniem pod kątem samych ewaluacji. • Prawdziwymi „hakerami nagród” są badacze tworzący te benchmarki i pętle treningowe. • Mówi, że ma pomysły na to, czego brakuje, ale nie podzieli się nimi publicznie. • ASI jednak w ciągu 5-20 lat "Wiesz, co jest szalone? Że to wszystko jest prawdziwe" Naprawdę poczułem to zdanie.