System pamięci ChatGPT jest bardzo wydajny, ale zasoby potrzebne do jego działania są zazwyczaj dość duże. Jak OpenAI udało się obsłużyć 800 milionów użytkowników za pomocą systemu pamięci? Ktoś przeprowadził inżynierię wsteczną systemu pamięci ChatGPT i odkrył, że jest on znacznie prostszy, niż się spodziewano. Nie ma bazy danych wektorowych ani RAG dla historii czatów. Zamiast tego używa czterech zupełnie różnych poziomów: metadanych sesji dostosowanych do twojego środowiska, wyraźnych faktów przechowywanych na dłużej, lekkich podsumowań niedawnych rozmów, oraz okna przesuwnego bieżącej rozmowy. Ten blog szczegółowo wyjaśni, jak działa każdy poziom oraz dlaczego ta metoda może być lepsza od tradycyjnych systemów wyszukiwania.

Jego rdzeniem jest czterowarstwowy stos kontekstowy. Za każdym razem, gdy odbywa się rozmowa, AI buduje tę "teczkę", w której jednorazowo wprowadza wszystkie kluczowe informacje o Tobie do modelu. Składa się z czterech współpracujących ze sobą poziomów.

Pierwsza warstwa to tymczasowe informacje o środowisku, takie jak twoje urządzenie i lokalizacja, które znikają po zakończeniu sesji. Druga warstwa to twoje trwałe osobiste profile, które przechowują kluczowe fakty, które prosisz, aby zapamiętało.

Trzecia warstwa to "luźna mapa" twoich ostatnich zainteresowań, zawierająca jedynie streszczenia tytułów rozmów, a nie pełne treści. Najniższa warstwa to pełny zapis bieżącej rozmowy, jak okno przewijania, które zapewnia natychmiastową spójność. Co się stanie, gdy okno będzie pełne?

Znaczenie okna przesuwnego polega na tym, że nawet jeśli bieżące okno rozmowy "przesuwa się" z powodu osiągnięcia limitu długości i najwcześniejsze wiadomości są usuwane, twoja trwała pamięć i podsumowanie ostatnich zainteresowań nadal będą zachowane. To zapewnia, że nawet w długich rozmowach AI nie "zapomni" o tobie.

Ta czterowarstwowa struktura to zwycięstwo inżynieryjnej inteligencji. Osiąga doskonałą równowagę między personalizacją, wydajnością a kosztami obliczeniowymi, oferując najlepsze doświadczenia użytkownika bez potrzeby stosowania najbardziej skomplikowanych systemów.