Я приємно здивований Іллею. Він визначив деякі ключові аспекти інтелекту, які здебільшого відсутні в популярному дискурсі про ШІ. Це: 1. Інтелект — це здатність вчитися, а не знання багатьох речей. Правильна мета — це система, яка може навчатися на досвіді розгортання. 2. Для ефективного навчання на основі вибірок потрібна функція значення. Він може забезпечувати щільний зворотний зв'язок (навчання TD) за відсутності винагороди. Обидва ці варіанти є необхідними і здійсненними. Ключовим вузьким місцем є те, що у нас немає алгоритмів, які можуть надійно навчатися, користуючись подібними обсягами обчислень, як інференція. Такі алгоритми потрібні, якщо ми хочемо постійно навчатися. Думаю, ми близько. У нас просто недостатньо людей, які працюють над пошуком цих алгоритмів. Я також радий, що Ілля визнав, що для прогресу нам потрібно більше ідей, а не просто більше обчислень. Я б передбачив, що ключові алгоритмічні покращення можна зробити з відносно невеликою обчислювальною потужністю. Кілька відеокарт з багатьма ядрами CUDA (5090 або більше) на одну людину або кілька сучасних багатоядерних процесорів (9995 WX або краще) на одну людину — це достатньо, щоб знайти правильний алгоритм. Масштабні демонстрації будуть важливими лише для того, щоб переконати решту світу, що ви знайшли правильний рецепт для навчання. *Тензорні ядра недостатньо гнучкі для швидкого випробування нових ідей.