Sistem memori ChatGPT sangat bagus, tetapi sistem memori menghabiskan banyak sumber daya, bagaimana OpenAI membuat sistem memori melayani 800 juta pengguna? Seseorang merekayasa balik sistem memori ChatGPT dan menemukan bahwa sistem memori ChatGPT jauh lebih sederhana dari yang diharapkan. Tidak ada database vektor dan tidak ada RAG pada riwayat obrolan. Sebagai gantinya, ia menggunakan empat level berbeda: Metadata sesi yang disesuaikan dengan lingkungan Anda, Fakta yang jelas tentang penyimpanan jangka panjang, Ringkasan ringan dari obrolan terbaru, dan jendela geser untuk percakapan saat ini. Blog ini akan menguraikan cara kerja setiap level secara rinci dan mengapa pendekatan ini mungkin lebih unggul daripada sistem pengambilan tradisional.

Pada intinya, ini adalah tumpukan konteks empat lapis. Dengan setiap percakapan, AI membangun "portofolio" ini untuk menyuntikkan semua informasi penting tentang Anda ke dalam model sekaligus. Ini terdiri dari empat tingkat kerja kolaboratif.

Lapisan pertama adalah informasi lingkungan sementara, seperti perangkat dan lokasi Anda, yang menghilang di akhir sesi. Lapisan kedua adalah profil permanen Anda, yang menyimpan fakta-fakta utama yang Anda minta untuk diingat.

Lapisan ketiga adalah "peta longgar" dari minat Anda baru-baru ini, dengan hanya ringkasan judul obrolan, bukan teks lengkap. Di bagian bawah adalah catatan lengkap percakapan saat ini, seperti jendela geser yang memastikan koherensi instan. Apa yang terjadi jika jendela penuh?

Arti dari jendela geser adalah bahwa meskipun jendela percakapan saat ini "menggesek" karena mencapai batas panjang, pesan paling awal dihapus, dan ingatan permanen Anda serta ringkasan minat terbaru masih dipertahankan. Ini memastikan bahwa AI tidak "melupakan" Anda, bahkan selama percakapan yang panjang.

Struktur empat lapis ini adalah kemenangan kebijaksanaan teknik. Ini mencapai keseimbangan sempurna antara personalisasi, kinerja, dan biaya komputasi, memberikan pengalaman pengguna terbaik tanpa memerlukan sistem yang paling kompleks.