Sistemul de memorie al ChatGPT este foarte bun, dar acesta consumă multe resurse; cum face OpenAI sistemul de memorie să deservească 800 de milioane de utilizatori? Cineva a făcut inginerie inversă a sistemului de memorie al ChatGPT și a descoperit că sistemul de memorie al ChatGPT era mult mai simplu decât se aștepta. Nu există o bază de date vectorială și niciun istoric RAG pentru chat. În schimb, folosește patru niveluri distincte: Metadate de sesiune adaptate mediului tău, Fapte clare despre depozitarea pe termen lung, Rezumate ușoare ale discuțiilor recente, și o fereastră glisantă pentru conversația curentă. Acest blog va detalia modul în care funcționează fiecare nivel și de ce această abordare poate fi superioară sistemelor tradiționale de recuperare.

În esență, este un stack contextual cu patru straturi. Cu fiecare conversație, AI-ul construiește acest "portofoliu" pentru a injecta toate informațiile cheie despre tine în model simultan. Aceasta constă în patru niveluri de muncă colaborativă.

Primul strat este formată din informații temporare de mediu, cum ar fi dispozitivul și locația, care dispar la finalul sesiunii. Al doilea strat este profilul tău permanent, care stochează faptele cheie pe care îi ceri să le țină minte.

Al treilea strat este o "hartă lejeră" a intereselor tale recente, cu doar un rezumat al titlului chatului, nu textul complet. În partea de jos este o înregistrare completă a conversației curente, ca o fereastră glisantă care asigură coerență instantanee. Ce se întâmplă dacă fereastra este plină?

Sensul ferestrei glisante este că, chiar dacă fereastra curentă de conversație "glisează" pentru că atinge limita de lungime, cel mai vechi mesaj este eliminat, iar amintirile tale permanente și rezumatele recente de interese sunt păstrate. Acest lucru asigură că AI-ul nu te "uită", chiar și în timpul conversațiilor lungi.

Această structură în patru straturi este o victorie a înțelepciunii inginerești. Acesta găsește echilibrul perfect între personalizare, performanță și costuri computaționale, oferind cea mai bună experiență utilizatorului fără a fi nevoie de cele mai complexe sisteme.