ChatGPT:n muistijärjestelmä on erittäin hyvä, mutta se kuluttaa paljon resursseja, miten OpenAI saa muistijärjestelmän palvelemaan 800 miljoonaa käyttäjää? Joku käänteisesti suunnitteli ChatGPT:n muistijärjestelmän ja totesi, että ChatGPT:n muistijärjestelmä oli paljon yksinkertaisempi kuin odotettiin. Vektoritietokantaa eikä RAG:ia chat-historiassa. Sen sijaan se käyttää neljää erillistä tasoa: Istunnon metatiedot mukautettuna ympäristöösi, Selkeät faktat pitkäaikaisesta säilytyksestä, Kevyitä yhteenvetoja viimeaikaisista keskusteluista, ja liukuvan ikkunan nykyiselle keskustelulle. Tässä blogissa käydään yksityiskohtaisesti läpi, miten kukin taso toimii ja miksi tämä lähestymistapa voi olla parempi kuin perinteiset hakujärjestelmät.

Pohjimmiltaan kyseessä on nelikerroksinen kontekstipino. Jokaisen keskustelun myötä tekoäly rakentaa tämän "portfolion" tuodakseen kaikki keskeiset tiedot sinusta malliin kerralla. Se koostuu neljästä yhteistyön tasosta.

Ensimmäinen kerros on väliaikainen ympäristötieto, kuten laitteesi ja sijaintisi, joka katoaa session lopussa. Toinen kerros on pysyvä profiilisi, joka tallentaa keskeiset faktat, joita pyydät sen muistavan.

Kolmas kerros on "löyhä kartta" viimeaikaisista kiinnostuksen kohteistasi, jossa on vain yhteenveto chatin otsikosta, ei koko tekstiä. Alareunassa on täydellinen tallenne nykyisestä keskustelusta, kuin liukuva ikkuna, joka varmistaa välittömän johdonmukaisuuden. Mitä tapahtuu, jos ikkuna on täynnä?

Liukuvan ikkunan merkitys on, että vaikka nykyinen keskusteluikkuna "pyyhkäisi" siksi, että se saavuttaa pituuden rajan, varhaisin viesti poistetaan, ja pysyvät muistosi sekä viimeaikaiset kiinnostuksen yhteenvetosi säilyvät. Tämä varmistaa, ettei tekoäly "unohda" sinua, edes pitkien keskustelujen aikana.

Tämä nelikerroksinen rakenne on insinööriviisauden voitto. Se löytää täydellisen tasapainon personoinnin, suorituskyvyn ja laskentakustannusten välillä, tarjoten parhaan käyttökokemuksen ilman kaikkein monimutkaisimpia järjestelmiä.