Paměťový systém ChatGPT je velmi dobrý, ale paměťový systém spotřebovává hodně zdrojů, jak OpenAI dokáže zajistit, aby systém obsloužil 800 milionů uživatelů? Někdo zpětně analyzoval paměťový systém ChatGPT a zjistil, že paměťový systém ChatGPT je mnohem jednodušší, než se očekávalo. Neexistuje žádná vektorová databáze ani RAG v historii chatu. Místo toho používá čtyři odlišné úrovně: Metadata relace přizpůsobená vašemu prostředí, Jasná fakta o dlouhodobém skladování, Lehké shrnutí nedávných rozhovorů, a posuvné okno pro aktuální rozhovor. Tento blog podrobně rozebere, jak každá úroveň funguje a proč může být tento přístup lepší než tradiční systémy vyhledávání.

V jádru je to čtyřvrstvý kontextový stack. Při každé konverzaci AI vytváří toto "portfolio", které najednou vloží všechny klíčové informace o vás do modelu. Skládá se ze čtyř úrovní spolupráce.

První vrstvou jsou dočasné informace o prostředí, jako je vaše zařízení a poloha, které na konci relace zmizí. Druhou vrstvou je váš trvalý profil, který uchovává klíčová fakta, která si žádáte, aby si zapamatoval.

Třetí vrstva je "volná mapa" vašich nedávných zájmů, pouze se shrnutím názvu chatu, ne s plným textem. Na konci je kompletní záznam aktuálního rozhovoru, jako posuvné okno, které zajišťuje okamžitou soudržnost. Co se stane, když je okno plné?

Význam posuvného okna je, že i když se aktuální okno konverzace "přejede", protože dosáhne limitu délky, nejstarší zpráva je odstraněna a vaše trvalé vzpomínky a nedávné shrnutí zájmů zůstanou zachovány. To zajišťuje, že AI na vás "nezapomene", ani během dlouhých rozhovorů.

Tato čtyřvrstvá struktura je vítězstvím inženýrské moudrosti. Nachází dokonalou rovnováhu mezi personalizací, výkonem a výpočetními náklady a poskytuje nejlepší uživatelský zážitek bez nutnosti nejsložitějších systémů.