RAG に関するよくある誤解は次のとおりです。 ほとんどの人は、RAGは次のように機能すると考えています:ドキュメントのインデックス作成→同じドキュメントを取得します。 しかし、インデックス作成≠検索です。 インデックスを作成するものは、LLM に供給するものである必要はありません。 これを理解すれば、実際に機能するRAGシステムを構築できます。 優れた RAG と優れた RAG を区別する 4 つのインデックス作成戦略を次に示します。 1) チャンクインデックス作成 ↳ これが標準的なアプローチです。ドキュメントをチャンクに分割し、埋め込み、ベクターデータベースに格納し、最も近い一致を取得します。 ↳ シンプルで効果的ですが、大きな塊や騒々しい塊は精度を損ないます。 2) サブチャンクのインデックス作成 ↳ インデックス作成のためにチャンクをより小さなサブチャンクに分割しますが、コンテキストのために完全なチャンクを取得します。 ↳ これは、1 つのセクションで複数の概念をカバーする場合に強力です。LLM が必要とする周囲のコンテキストを失うことなく、クエリのマッチングが向上します。 3) クエリのインデックス作成 ↳ 生のテキストにインデックスを付ける代わりに、チャンクが答えることができる架空の質問を生成します。代わりに、それらの質問にインデックスを付けてください。 ↳ ユーザーのクエリは、生のドキュメント テキストよりも質問と自然によく一致します。これにより、ユーザーが尋ねた内容と保存した内容の間のセマンティックギャップが解消されます。 ...