皮肉なことに、トランスフォーマーは、コンテキストウィンドウ全体を、コンテキストがまったく欠けているトークンの袋と見なしています。 位置エンコーディングを使用して、トークンの順序をコンテキスト化します。しかし、モデルは、どのトークンが誰によって言われたかについて、依然として常に混乱しています。ソースエンコーディングがないのはなぜですか?

誰が何を言ったかは、彼らがそれを言ったときと同じくらい意味の基本です。システム、開発者、ユーザー、モデル自体、モデルの思考トークン、信頼できない第三者、特定のツールなど、ソースをそれぞれトークンにエンコードしたらどうなるでしょうか?

これは多かれ少なかれ 2D 位置エンコーディングであり、垂直方向の寸法は誰が、水平方向はいつを示します。それは多くの頭痛の種を省くようです。あなた自身の声とあなたの内なる独白を含め、全員の声がまったく同じに聞こえたと想像してみてください。

@wokohomo @Theurgistic これは、多かれ少なかれトークナイザーの要点です — そうでなければ、常に生のバイトの単純な線形投影で直接トレーニングすることになります。