ChatGPT 的記憶系統非常優秀，但是記憶系統資源消耗一般很大，OpenAI 是如何做到讓記憶系統服務8億用戶的？ 有人逆向工程了 ChatGPT 的記憶系統，發現 ChatGPT 的記憶系統比預想的要簡單得多。 沒有向量數據庫，也沒有對聊天記錄進行 RAG。 相反，它使用了四個截然不同的層次： 適應你環境的會話元數據、 長期存儲的明確事實、 近期聊天的輕量級摘要， 以及當前對話的滑動窗口。 這篇博客將詳細分解每個層次的工作原理，以及為什麼這種方法可能優於傳統的檢索系統。

它的核心就是一個四層上下文堆棧。 每次對話，AI都會構建這個“檔案袋”，將關於你的所有關鍵信息一次性注入模型。 它由四個協同工作的層次組成。

第一層是臨時的環境信息，比如你的設備和位置，會話結束即消失。 第二層則是你的永久個人檔案，存儲你要求它記住的關鍵事實。

第三層是你近期興趣的“鬆散地圖”，只包含聊天標題摘要，而非全文。 最底層則是當前對話的完整記錄，像一個滑動窗口，保證即時連貫性。 如果窗口滿了會怎樣？

滑動窗口的含義是，即使當前對話窗口因達到長度限制而“滑動”，最早的消息被移除，你的永久記憶和近期興趣摘要依然會被保留。 這確保了即使在長對話中，AI也不會“忘記”你。

這個四層結構，是工程智慧的勝利。它在個性化、性能和計算成本之間取得了完美的平衡，無需最複雜的系統也能提供最佳的用戶體驗。