Ilya mengklarifikasi dan menambahkan isi wawancaranya: > Ada satu poin dalam wawancara yang tidak saya jelaskan, saya ingin menambahkan: > Terus menskalakan cara saat ini - daya komputasi tumpukan, data tumpukan, lingkungan pelatihan tumpukan - pasti akan membawa peningkatan. Itu tidak akan mandek dan akan terus membaik. > Namun, akan selalu ada sesuatu yang penting yang menjadi kelemahan. Ini memperbaiki kemungkinan kesalahpahaman. Dalam wawancara itu, dia mengatakan banyak kata seperti "kembali ke era penelitian" dan "metode saat ini akan menabrak tembok", yang membuat orang berpikir bahwa dia menyanyikan hukum penskalaan yang buruk dan bahwa terus menumpuk daya komputasi, data, dan pelatihan RL tidak akan efektif. Dia mengatakan bahwa ini bukan yang dia maksud, dan bahwa jalur saat ini akan terus membawa perbaikan dan tidak akan mandek. Model akan terus menjadi lebih kuat, tolok ukur akan terus meningkat, produk akan terus berulang, dan perusahaan akan terus menghasilkan uang. Perhatikan "tetapi" di akhir Ada beberapa hal yang tidak bisa Anda dapatkan dalam skala besar. Ini seperti Anda sedang melakukan sprint. Jika Anda terus berlatih, performa Anda akan meningkat, dari 12 detik menjadi 11,5 detik, menjadi 11 detik, atau bahkan 10,9 detik. Ini adalah kemajuan nyata. Tetapi jika tujuan Anda adalah belajar terbang, tidak peduli seberapa cepat Anda berlari, itu membutuhkan kemampuan yang sama sekali berbeda. Apa yang hilang? Dikombinasikan dengan isi wawancara, "hilang penting" ini harus mengacu pada: 1. Kemampuan generalisasi sejati Bukannya Anda dapat melakukan banyak tugas setelah berlatih pada data besar, tetapi Anda dapat dengan cepat mempelajari hal-hal baru dari sedikit pengalaman, dan apa yang Anda pelajari stabil dan dapat diandalkan dalam skenario baru. 2. Pembelajaran yang efisien Antropologi dapat bekerja dalam 10 jam dengan mengemudi dan belajar pemrograman dalam beberapa bulan. Efisiensi ini tidak dapat diperoleh dengan pra-pelatihan data besar. Analogi "dua siswa" dalam wawancara sangat menceritakan. Siswa yang menyikat 10.000 jam soal memang dapat terus meningkatkan performa kompetisinya, dari 10% teratas menjadi 1% teratas menjadi juara, yang merupakan kemajuan nyata. Tapi dia tidak akan pernah menjadi siswa yang menunjukkan "pengertian" setelah hanya 100 jam latihan.