Ilya wyjaśnił i uzupełnił treść swojego wywiadu w tweecie: > W wywiadzie jest jeden punkt, którego nie wyjaśniłem wystarczająco, więc dodam: > Kontynuowanie obecnej metody skalowania — zwiększanie mocy obliczeniowej, danych i środowiska treningowego — na pewno przyniesie poprawę. Nie zatrzymamy się, będzie coraz lepiej. > Ale zawsze będzie brakować czegoś ważnego. To jest korekta możliwego nieporozumienia. W wywiadzie mówił wiele o „powrocie do czasów badań” i „aktualne metody napotkają ścianę”, co może sprawić, że ludzie pomyślą, że jest pesymistą wobec prawa skalowania, uważając, że dalsze zwiększanie mocy obliczeniowej, danych i treningu RL będzie nieskuteczne. Powiedział, że nie o to mu chodzi, obecna ścieżka będzie nadal przynosić poprawę, nie zatrzymamy się. Model będzie się dalej rozwijał, benchmarki będą rosły, produkty będą się rozwijały, a firma będzie nadal zarabiać. Zwróć uwagę na „ale” w dalszej części. Są rzeczy, których nie da się osiągnąć niezależnie od tego, jak bardzo się skalujesz. To jak w przypadku biegania na krótkim dystansie. Kontynuując trening, wyniki będą się poprawiać, z 12 sekund do 11,5 sekundy, potem do 11 sekund, a nawet 10,9 sekundy. To jest prawdziwy postęp. Ale jeśli twoim celem jest nauczenie się latania, to niezależnie od tego, jak szybko biegasz, nie ma to znaczenia, potrzebujesz zupełnie innych umiejętności. Czego brakuje? Biorąc pod uwagę treść wywiadu, to "ważne braki" powinny odnosić się do: 1. Prawdziwej zdolności do generalizacji Nie chodzi o to, że po przeszkoleniu na ogromnej ilości danych można wykonać wiele zadań, ale o to, że można szybko nauczyć się nowych rzeczy z niewielkiego doświadczenia, a to, czego się nauczyło, jest stabilne i niezawodne w nowych sytuacjach. 2. Efektywnego uczenia się Ludzie uczą się prowadzić samochód przez 10 godzin, a programowania przez kilka miesięcy, aby móc pracować. Taka efektywność nie jest osiągana dzięki wstępnemu szkoleniu na ogromnych zbiorach danych. Porównanie „dwóch uczniów” w wywiadzie dobrze ilustruje problem. Uczeń, który spędził 10 000 godzin na rozwiązywaniu zadań, rzeczywiście może poprawić swoje wyniki w zawodach, przechodząc z pierwszych 10% do pierwszych 1% do mistrza, to jest prawdziwy postęp. Ale nigdy nie stanie się tym uczniem, który po 100 godzinach treningu wykazuje "zdolności".