私はますます、強化学習や類似の技術が人間の学習方法を再発見しているだけだと確信しています。 考えてみて下さい： まずモデルは形式的言語(基本的には文脈自由文法ルール)で事前学習され、モデル内に「構文サブネット」が生成されます。 このサブネットの上に「実際の言語」(インターネットデータセット)が実際のモデルトレーニングに重ね込まれます(形式言語の文脈ではこれを基本的に無制限文法と呼びます) でもその時に。。。これは人間の赤ちゃんが言語を学ぶのと同じ方法ではないでしょうか? 私たちは言語の基本形態(情報伝達のリズム、原始文法)を理解するための統語サブネットを「事前学習」していて、その上に実際に学ぶ言語を「押し付ける」のです。 とても興味深い内容です!