ChatGPTのメモリシステムは非常に優れていますが、そのメモリシステムは多くのリソースを消費します。OpenAIはどうやって8億人のユーザーにメモリシステムを提供しているのでしょうか? 誰かがChatGPTのメモリシステムを逆解析し、予想以上にシンプルなことが判明しました。 ベクターデータベースもチャット履歴にRAGもありません。 代わりに、4つの異なるレベルが使われています。 環境に適応したセッションメタデータ、 長期保存の明確な事実、 最近のチャットの軽い要点、 そして現在の会話のためのスライドウィンドウも設けられている。 本ブログでは、各レベルの仕組みと、なぜこのアプローチが従来の検索システムよりも優れているのかを詳しく解説します。

本質的には、4層のコンテキストスタックです。 会話ごとにAIはこの「ポートフォリオ」を構築し、あなたに関するすべての重要な情報を一度にモデルに注入します。 このプロジェクトは4つの共同作業レベルで構成されています。

最初の層は、デバイスや位置情報などの一時的な環境情報で、セッション終了時に消滅します。 2つ目のレイヤーはパーマネントプロファイルで、記憶を求める重要な事実を保存します。

3つ目のレイヤーは、最近の興味の「大まかな地図」で、チャットタイトルの要約のみで、全文は含まれていません。 下部には現在の会話の完全な記録があり、スライドウィンドウのように即時の一貫性を確保します。 もしウィンドウが満タンだったらどうなりますか?

スライディングウィンドウの意味は、現在の会話ウィンドウが長さ制限に達して「スワイプ」しても、最も古いメッセージは削除され、あなたの永久的な記憶や最近の興味の要約は保持されるということです。 これにより、長い会話でもAIがあなたを「忘れる」ことはありません。

この四層構造こそが工学的知恵の勝利です。 パーソナライズ、パフォーマンス、計算コストの完璧なバランスを実現し、最も複雑なシステムを必要としない最高のユーザー体験を提供します。