Ilya heeft een verduidelijking en aanvulling gedaan op de inhoud van zijn interview: > Er is een punt in het interview dat ik niet duidelijk heb gemaakt, laat me dat aanvullen: > Door op de huidige manier te schalen - meer rekenkracht, meer data, meer trainingsomgevingen - zullen er zeker verbeteringen komen. Het zal niet stilvallen, het zal blijven verbeteren. > Maar, er zal altijd iets belangrijks ontbreken. Dit is om een mogelijke misvatting te corrigeren. In het interview zei hij veel dingen als "terug naar de onderzoekstijd" en "de huidige methode zal tegen een muur aanlopen", wat gemakkelijk de indruk kan wekken dat hij de scaling law in twijfel trekt, en dat het blijven stapelen van rekenkracht, data en RL-training niet zal werken. Hij zei dat dit niet zijn bedoeling was, de huidige weg zal blijven leiden tot verbeteringen, het zal niet stilvallen. Het model zal sterker blijven, benchmarks zullen blijven stijgen, producten zullen blijven itereren, en het bedrijf zal blijven verdienen. Let op het "maar" aan het einde. Er zijn dingen die je hoe dan ook niet kunt schalen. Het is zoals bij het sprinten. Blijf trainen, je prestaties zullen verbeteren, van 12 seconden naar 11,5 seconden, dan naar 11 seconden, zelfs naar 10,9 seconden. Dat is echte vooruitgang. Maar als je doel is om te leren vliegen, dan maakt het niet uit hoe snel je rent, dat vereist een totaal andere vaardigheid. Wat ontbreekt er? In combinatie met de inhoud van het interview, verwijst deze "belangrijke tekortkoming" waarschijnlijk naar: 1. Echte generalisatiecapaciteit Het gaat er niet om dat je na training op enorme hoeveelheden data veel taken kunt uitvoeren, maar dat je snel nieuwe dingen kunt leren uit zeer weinig ervaring, en dat wat je leert ook stabiel en betrouwbaar is in nieuwe situaties. 2. Efficiënt leren Mensen leren autorijden in 10 uur, en kunnen na enkele maanden programmeren al aan het werk. Deze efficiëntie kan niet worden verkregen door het voortrainen op enorme hoeveelheden data. De analogie van de "twee studenten" in het interview illustreert het probleem goed. Een student die tienduizend uur oefent, kan zijn wedstrijdresultaten inderdaad blijven verbeteren, van de top 10% naar de top 1% naar de kampioen, dat is echte vooruitgang. Maar hij zal nooit de student worden die met slechts 100 uur oefenen al "inzicht" toont.