Het geheugen systeem van ChatGPT is zeer goed, maar het verbruik van geheugenbronnen is over het algemeen vrij hoog. Hoe is OpenAI erin geslaagd om het geheugen systeem 800 miljoen gebruikers te laten bedienen? Iemand heeft het geheugen systeem van ChatGPT omgekeerd geanalyseerd en ontdekt dat het geheugen systeem van ChatGPT veel eenvoudiger is dan verwacht. Er is geen vector database en er wordt geen RAG op de chatgeschiedenis toegepast. In plaats daarvan gebruikt het vier totaal verschillende niveaus: Conversatiemetagegevens die zich aanpassen aan jouw omgeving, Expliciete feiten die langdurig zijn opgeslagen, Lichte samenvattingen van recente gesprekken, En een glijdend venster van de huidige conversatie. Deze blog zal elk niveau in detail uitleggen, evenals waarom deze aanpak mogelijk beter is dan traditionele opzoeksystemen.

De kern is een vierlaagse contextstack. Bij elke conversatie bouwt de AI deze "map" op en injecteert alle belangrijke informatie over jou in één keer in het model. Het bestaat uit vier samenwerkende lagen.

De eerste laag zijn tijdelijke omgevingsinformatie, zoals je apparaat en locatie, die verdwijnen zodra de sessie eindigt. De tweede laag is je permanente persoonlijk profiel, waarin de belangrijke feiten worden opgeslagen die je wilt dat het onthoudt.

De derde laag is een "losse kaart" van je recente interesses, die alleen de samenvattingen van de chatkoppen bevat, en niet de volledige tekst. De onderste laag is het volledige record van de huidige conversatie, als een schuifvenster, dat zorgt voor onmiddellijke samenhang. Wat gebeurt er als het venster vol is?

De betekenis van een glijdend venster is dat, zelfs als het huidige gesprek venster vanwege de lengtebeperkingen "glijdt" en de oudste berichten worden verwijderd, jouw permanente geheugen en recente interesse samenvattingen behouden blijven. Dit zorgt ervoor dat de AI jou niet "vergeet", zelfs niet in lange gesprekken.

Deze vierlaagse structuur is een overwinning van engineeringwijsheid. Het bereikt een perfecte balans tussen personalisatie, prestaties en rekenkosten, en biedt de beste gebruikerservaring zonder de meest complexe systemen.