イリヤはインタビューの内容を明確にし、さらに付け加えました。 > インタビューで私が明確にしなかった点が一つありますが、付け加えたいと思います。 > 現在の方法でヒープ計算能力、ヒープデータ、ヒープトレーニング環境をスケールし続けることは確実に改善をもたらします。 停滞はせず、今後も良くなり続けるでしょう。 > しかし、常に重要な欠点があります。 これは誤解を正すための措置です。 インタビューで彼は「研究時代に戻る」「現在の手法は壁にぶつかる」といった言葉を多く発しており、それが人々に彼が悪いスケーリングの法則を歌っていると思わせ、計算能力やデータ、強化学習のトレーニングを積み重ね続けることは効果がないと思わせます。 彼はそれが彼の意図したことではなく、現在の道は改善を続け、停滞しないだろうと述べました。 モデルはさらに強くなり、ベンチマークは上昇し続け、製品は反復を続け、企業は利益を上げ続けます。 最後の「でも」に注目してください 大規模で手に入らないものもあります。 まるで全力疾走をしているみたいだ。 トレーニングを続ければ、パフォーマンスは12秒から11.5秒、11秒、あるいは10.9秒に向上します。 これは本当の進歩です。 しかし、もしあなたの目標が飛行を学ぶことなら、どれだけ速く走っても全く異なる能力が必要です。 何が足りないのでしょうか? インタビューの内容と合わせて、この「重要な欠落」は以下を指すべきです: 1. 真の一般化能力 大量のデータでトレーニングした後に多くのタスクをこなせるわけではありませんが、経験が少なくても新しいことを素早く学べますし、学んだことは新しい状況でも安定し信頼性があります。 2. 効率的な学習 人類学は運転して数ヶ月でプログラミングを学ぶことで10時間で学べます。 この効率は大量データの事前学習では得られません。 インタビューでの「二人の学生」のアナロジーは非常に示唆的です。 1万時間もの問題に答えた学生は、実際に競技成績を向上させ、トップ10%からトップ1%、そしてチャンピオンへと成長し続けることができる。これは真の進歩だ。 しかし、100時間の練習で「理解」を示す学生には決してなれません。