ChatGPT'nin bellek sistemi çok iyi, ancak bellek sistemi çok fazla kaynak tüketiyor, OpenAI bellek sistemini 800 milyon kullanıcıya nasıl hizmet veriyor? Birisi ChatGPT'nin bellek sistemini tersine mühendislik yaptı ve ChatGPT'nin bellek sisteminin beklenenden çok daha basit olduğunu buldu. Vektör veritabanı yok ve sohbet geçmişinde RAG yok. Bunun yerine, dört farklı seviye kullanır: Ortamınıza uyarlanmış oturum meta verileri, Uzun vadeli depolamanın net gerçekleri, Son sohbetlerin hafif özetleri, ve mevcut konuşma için bir kaydırmalı pencere. Bu blog, her seviyenin nasıl çalıştığını ve bu yaklaşımın geleneksel geri alma sistemlerinden neden üstün olabileceğini ayrıntılı olarak inceleyecek.

Özünde, dört katmanlı bir bağlam yığını. Her konuşmada, yapay zeka bu "portföyü" oluşturarak sizinle ilgili tüm önemli bilgileri modele bir anda dahil eder. Dört düzeyde işbirlikçi çalışmadan oluşur.

İlk katman, cihazınız ve konumunuz gibi geçici çevresel bilgilerdir ve oturum sonunda kaybolurlar. İkinci katman ise kalıcı profilinizdir; burada hatırlamasını istediğiniz temel gerçekleri saklar.

Üçüncü katman, yakın zamanda ilgi alanlarınızın "gevşek haritası"; sadece sohbet başlığının özeti, tam metni değil. En altta, anında tutarlılık sağlayan kaydırmalı bir pencere gibi mevcut konuşmanın tam bir kaydı var. Pencere dolursa ne olur?

Kaydırma penceresinin anlamı, mevcut konuşma penceresi süre sınırına ulaştığı için "kaydırsa" bile en erken mesajın kaldırılması ve kalıcı anılarınız ile yakın ilgi özetlerinizin korunmasıdır. Bu, yapay zekanın sizi uzun konuşmalar sırasında bile "unutmamasını" sağlar.

Bu dört katmanlı yapı, mühendislik bilgeliğinin zaferidir. Kişiselleştirme, performans ve hesaplama maliyeti arasında mükemmel bir dengeyi sağlar ve en karmaşık sistemlere ihtiyaç duymadan en iyi kullanıcı deneyimini sunar.