Il sistema di memoria di ChatGPT è molto eccellente, ma il consumo di risorse del sistema di memoria è generalmente molto elevato. Come fa OpenAI a far funzionare il sistema di memoria per 800 milioni di utenti? Qualcuno ha ingegnerizzato a ritroso il sistema di memoria di ChatGPT e ha scoperto che il sistema di memoria di ChatGPT è molto più semplice di quanto previsto. Non ci sono database vettoriali e non ci sono registrazioni delle chat effettuate con RAG. Al contrario, utilizza quattro livelli completamente diversi: metadati delle conversazioni che si adattano al tuo ambiente, fatti espliciti memorizzati a lungo termine, sintesi leggere delle chat recenti, e una finestra mobile della conversazione attuale. Questo blog analizzerà in dettaglio il funzionamento di ciascun livello e perché questo approccio potrebbe essere migliore rispetto ai sistemi di recupero tradizionali.

Il suo nucleo è uno stack di contesto a quattro livelli. Ad ogni conversazione, l'AI costruisce questa "cartella", iniettando nel modello tutte le informazioni chiave su di te in una sola volta. È composto da quattro livelli che lavorano in sinergia.

Il primo livello è costituito da informazioni ambientali temporanee, come il tuo dispositivo e la tua posizione, che scompaiono al termine della sessione. Il secondo livello è il tuo profilo personale permanente, che memorizza i fatti chiave che richiedi di ricordare.

Il terzo livello è la "mappa informale" dei tuoi interessi recenti, che contiene solo i riassunti dei titoli delle chat, e non il testo completo. Il livello più basso è la registrazione completa della conversazione attuale, come una finestra scorrevole, per garantire coerenza immediata. Cosa succede se la finestra è piena?

Il significato della finestra scorrevole è che, anche se la finestra di dialogo attuale "scorre" a causa del raggiungimento del limite di lunghezza e i messaggi più vecchi vengono rimossi, la tua memoria permanente e il riassunto dei tuoi interessi recenti verranno comunque mantenuti. Questo assicura che, anche in conversazioni lunghe, l'AI non "dimentichi" te.

Questa struttura a quattro livelli è una vittoria dell'ingegneria intelligente. Raggiunge un perfetto equilibrio tra personalizzazione, prestazioni e costi di calcolo, offrendo la migliore esperienza utente senza la necessità di sistemi complessi.