Appleの新しい研究。 よく考えてみると、RAGシステムは根本的に壊れています。検索と生成は別々に最適化されており、検索は表面的な類似性に基づいて文書を選択し、ジェネレーターは実際に必要な情報についてフィードバックなしに回答を生成します。 建築的な不一致があります。 密度の高いリトリーバーは埋め込み空間で文書をランク付けし、ジェネレーターは生のテキストを消費します。これにより、端から端までの最適化を妨げる一貫性のない表現空間、文脈オーバーフローを引き起こす冗長なテキスト処理、検索と生成の両方での重複エンコーディングが生まれます。 この新しい研究では、CLaRaという統合フレームワークを導入し、共有された連続文書表現上で検索と生成を行います。 文書は一度だけエンコードし、両方の目的を果たすコンパクトなメモリトークン表現に変換します。別々の埋め込みや生のテキストを維持する代わりに、文書は高密度のベクトルに圧縮され、リトリーバーとジェネレーターの両方が直接動作します。 これにより、これまで不可能だったことが可能になります。すなわち、Straight-Through推定を用いた微分可能なトップkセレクタを介して、ジェネレーターからリトリーバーへと勾配が流れ戻ることです。リトリーバーは、表面的な類似性に頼るのではなく、どの文書が本当に回答生成を助けるかを学びます。 圧縮を機能させるために、彼らはSCPという事前学習フレームワークを導入し、QAペアやパラフレーズを統合して圧縮機にどの情報が不可欠かを教えます。単純なQAは原子的な事実を捉え、複雑なQAは関係的推論を促進し、言い換えは意味を保持しつつ表面的な形を変えます。 結果: 16倍圧縮で、CLaRa-Mistral-7BはNQ(51.41対51.01 F1)および2Wiki(47.18対43.65 F1)でテキストベースのDRO-Mistral-7Bを上回り、処理する文脈ははるかに少ないです。4倍圧縮時には、Mistral-7Bの未圧縮テキストベースラインを平均2.36%上回ります。 特に、CLaRaは次トークン予測による弱い監督のみで訓練されており、グラウンドトゥルース関連ラベルを持つ完全監督リトリーバーを上回ります。HotpotQAでは96.21%のRecall@5を達成し、注釈付き関連性データを使わずにBGE-Reranker(85.93%)を10ポイント以上上回っています。 よく訓練されたソフトコンプレッションは、入力時間を大幅に短縮しつつ、重要な推論情報を保持できます。圧縮された表現は無関係な内容をフィルタリングし、推論に関連する文脈にジェネレーターを集中させることで、生のテキスト入力よりも優れた一般化を実現します。 AI開発者にとって素晴らしい読み物です。(ブックマーク) 論文: 私のアカデミーでRAGとAIエージェントを使ってビルドを学びます: