Система пам'яті ChatGPT дуже хороша, але вона споживає багато ресурсів. Як OpenAI забезпечує обслуговування 800 мільйонів користувачів? Хтось провів зворотне проектування системи пам'яті ChatGPT і виявив, що система пам'яті ChatGPT набагато простіша, ніж очікувалося. Немає векторної бази даних і RAG в історії чату. Натомість використовується чотири окремі рівні: Метадані сесії, адаптовані до вашого середовища, Чіткі факти довготривалого зберігання, Легкі підсумки останніх розмов, і розсувне вікно для поточної розмови. У цьому блозі детально розглянемо, як працює кожен рівень і чому цей підхід може бути кращим за традиційні системи пошуку.

У своїй основі це чотиришаровий контекстний стек. З кожною розмовою ШІ створює це «портфоліо», щоб одночасно впровадити всю ключову інформацію про вас у модель. Вона складається з чотирьох рівнів спільної роботи.

Перший шар — це тимчасова інформація про навколишнє середовище, така як ваш пристрій і місцезнаходження, яка зникає наприкінці сесії. Другий шар — це ваш постійний профіль, який зберігає ключові факти, які ви просите його запам'ятати.

Третій шар — це «вільна карта» ваших останніх інтересів, з лише коротким викладом назви чату, а не повним текстом. Внизу — повний запис поточної розмови, як ковзне вікно, що забезпечує миттєву послідовність. Що буде, якщо вікно заповнене?

Сенс ковзного вікна полягає в тому, що навіть якщо поточне вікно розмови «свайпає» через досягнення обмеження довжини, найраніше повідомлення видаляється, і ваші постійні спогади та недавні резюме інтересів залишаються збереженими. Це гарантує, що ШІ не «забуде» вас навіть під час довгих розмов.

Ця чотиришарова структура — перемога інженерної мудрості. Він досягає ідеального балансу між персоналізацією, продуктивністю та обчислювальними витратами, забезпечуючи найкращий користувацький досвід без потреби в найскладніших системах.