Ilya a clarificat și a adăugat la conținutul interviului său: > Există un punct în interviu pe care nu l-am clarificat, aș dori să adaug: > Continuarea scalării în modul actual – putere de calcul heap, date heap, mediu de antrenament heap – va aduce cu siguranță îmbunătățiri. Nu va stagna și va continua să se îmbunătățească. > Totuși, va exista întotdeauna ceva important care are un dezavantaj. Aceasta corectează o posibilă neînțelegere. În interviu, a spus multe cuvinte precum "să ne întoarcem la era cercetării" și "metodele actuale vor lovi un zid", ceea ce îi face pe oameni să creadă că el cântă o lege proastă a scalării și că continuarea acumulării puterii de calcul, datelor și antrenamentului în RL va fi ineficientă. El a spus că nu la asta s-a referit și că calea actuală va continua să aducă îmbunătățiri și nu va stagna. Modelul va continua să devină mai puternic, reperul va continua să crească, produsul va continua să se dezvolte, iar compania va continua să facă bani. Fii atent la "darul" de la final Sunt unele lucruri pe care nu le poți obține la scară largă. E ca și cum ai sprinta. Dacă continui să te antrenezi, performanța ta se va îmbunătăți, de la 12 secunde la 11,5 secunde, la 11 secunde sau chiar la 10,9 secunde. Acesta este un progres real. Dar dacă scopul tău este să înveți să zbori, nu contează cât de repede alergi, necesită o abilitate complet diferită. Ce lipsește? Combinat cu conținutul interviului, această "lipsă importantă" ar trebui să se refere la: 1. Abilitate reală de generalizare Nu este vorba că poți face multe sarcini după antrenament pe date masive, dar poți învăța rapid lucruri noi din puțină experiență, iar ceea ce înveți este stabil și fiabil în scenarii noi. 2. Învățare eficientă Antropologia poate lucra în 10 ore conducând și învățând programare în câteva luni. Această eficiență nu poate fi obținută prin pre-antrenarea datelor masive. Analogia cu "cei doi studenți" din interviu este foarte relevantă. Elevii care trec peste 10.000 de ore de întrebări pot într-adevăr să-și îmbunătățească performanța în competiție, de la top 10% la top 1% și apoi la campion, ceea ce reprezintă un progres real. Dar nu va deveni niciodată elevul care arată "înțelegere" după doar 100 de ore de practică.