ChatGPTs minnesystem er veldig bra, men minnesystemet bruker mye ressurser, hvordan får OpenAI minnesystemet til å betjene 800 millioner brukere? Noen reverserte ChatGPTs minnesystem og fant ut at ChatGPTs minnesystem var mye enklere enn forventet. Det finnes ingen vektordatabase og ingen RAG i chathistorikken. I stedet bruker den fire distinkte nivåer: Sesjonsmetadata tilpasset ditt miljø, Klare fakta om langtidslagring, Lettvektige oppsummeringer av de siste samtalene, og et skyvevindu for den nåværende samtalen. Denne bloggen vil gå i detalj gjennom hvordan hvert nivå fungerer, og hvorfor denne tilnærmingen kan være overlegen tradisjonelle hentingssystemer.

I bunn og grunn er det en firelags kontekststakk. Med hver samtale bygger AI-en denne «porteføljen» for å tilføre all nøkkelinformasjon om deg inn i modellen på én gang. Den består av fire nivåer av samarbeidsarbeid.

Det første laget er midlertidig miljøinformasjon, som enheten din og plasseringen, som forsvinner ved slutten av økten. Det andre laget er din permanente profil, som lagrer de viktigste faktaene du ber den huske.

Det tredje laget er et «løst kart» over dine nylige interesser, med kun et sammendrag av chattetittelen, ikke hele teksten. Nederst er det en komplett oversikt over den nåværende samtalen, som et skyvevindu som sikrer umiddelbar sammenheng. Hva skjer hvis vinduet er fullt?

Betydningen av det glidende vinduet er at selv om det nåværende samtalevinduet "sveiper" fordi det når lengdegrensen, fjernes den tidligste meldingen, og dine permanente minner og nylige interesseoppsummeringer bevares. Dette sikrer at AI-en ikke «glemmer» deg, selv under lange samtaler.

Denne firelagsstrukturen er seier for ingeniørvisdom. Den finner den perfekte balansen mellom personalisering, ytelse og beregningskostnader, og gir den beste brukeropplevelsen uten behov for de mest komplekse systemene.