Tehokas elinikäinen muisti LLM-agenteille LLM-agentit tarvitsevat muistia pitkien keskustelujen käsittelyyn. Nykyään tätä hoidetaan siten, että muisti joko säilyttää täydet vuorovaikutushistoriat, mikä johtaa valtavaan redundanssiin, tai käyttää iteratiivista päättelyä kohinan suodattamiseen ja liikaa tokeneita. Tämä uusi tutkimus esittelee SimpleMemin, tehokkaan muistikehyksen, joka perustuu semanttiseen häviöttömään pakkaukseen ja maksimoi tiedon tiheyden samalla kun minimoi tokenien kulutuksen. Kehys toimii kolmivaiheisen putken kautta. 1) Ensinnäkin semanttinen rakenteellinen pakkaus soveltaa entropiatietoista suodatusta tiiviiden muistiyksiköiden tiivistämiseksi dialogin tiiviiksi muistiyksiköiksi, ratkaisten vertailut ja muuntaen suhteelliset aikalausekkeet ("viime perjantai") absoluuttisiksi aikaleimoiksi. 2) Toiseksi, Rekursiivinen muistin konsolidointi integroi toisiinsa liittyviä muistoja asteittain korkeamman tason abstraktioiksi, muuttaen toistuvat merkinnät kuten "tilasin latten klo 8 aamulla" kuvioiksi kuten "juo säännöllisesti kahvia aamulla." 3) Kolmanneksi, Adaptive Query-Aware Retrieval säätää hakulaajuutta dynaamisesti kyselyn monimutkaisuuden perusteella. Tulokset: LoCoMo-benchmarkissa GPT-4.1-minillä SimpleMem saavuttaa 43,24 F1-arvon, mikä päihittää vahvimman lähtötason Mem0:n (34,20) 26,4 %, samalla kun tokenin kulutus on vain 531 tokenia per kysely verrattuna 16 910 tokeniin täyden kontekstin lähestymisissä, mikä on 30-kertainen vähennys. He väittävät, että muistin rakentaminen on 14 kertaa nopeampaa kuin Mem0 (92,6 sekuntia vs 1350,9 sekuntia per näyte) ja 50 kertaa nopeampi kuin A-Mem. Jopa 3B-parametrimalli SimpleMemillä päihittää suuremmat mallit, joissa käytetään heikompia muististrategioita. Tämä työ osoittaa, että rakenteellinen semanttinen pakkaus ja adaptiivinen haku mahdollistavat LLM-agenttien ylläpitää luotettavaa pitkäaikaista muistia ilman, että ne hukkuvat tokeneihin tai tinkivät tarkkuudesta.

Viikon parhaat tekoälyartikkelit (5.–11. tammikuuta) - GDPO - SWE-EVO - Deep Delta -oppiminen - Konfutsen koodiagentti - Rekursiiviset kielimallit - Skaalauksen hitaasta kuolemasta - Vastakkainasetteluohjelmien kehitys LLM:illä Lue lisää lukematta: