Das Gedächtnissystem von ChatGPT ist sehr leistungsfähig, aber der Ressourcenverbrauch des Gedächtnissystems ist in der Regel sehr hoch. Wie schafft es OpenAI, das Gedächtnissystem für 800 Millionen Nutzer bereitzustellen? Jemand hat das Gedächtnissystem von ChatGPT rückentwickelt und festgestellt, dass es viel einfacher ist als erwartet. Es gibt keine Vektordatenbank und keine RAG für die Chatprotokolle. Stattdessen verwendet es vier völlig unterschiedliche Ebenen: Konversationsmetadaten, die sich an deine Umgebung anpassen, langfristig gespeicherte explizite Fakten, leichte Zusammenfassungen von kürzlichen Chats, und ein gleitendes Fenster für das aktuelle Gespräch. Dieser Blog wird jede Ebene im Detail aufschlüsseln und erklären, warum dieser Ansatz möglicherweise besser ist als traditionelle Abrufsysteme.

Der Kern besteht aus einem vierstufigen Kontext-Stack. Bei jedem Gespräch erstellt die KI diese "Aktenmappe" und injiziert alle wichtigen Informationen über dich auf einmal in das Modell. Sie besteht aus vier kooperierenden Ebenen.

Die erste Ebene sind temporäre Umgebungsinformationen, wie dein Gerät und Standort, die mit dem Ende der Sitzung verschwinden. Die zweite Ebene ist dein dauerhaftes persönliches Profil, das die wichtigen Fakten speichert, die du möchtest, dass es sich merkt.

Die dritte Ebene ist eine "lose Karte" deiner aktuellen Interessen, die nur die Zusammenfassungen der Chat-Titel enthält und nicht den gesamten Text. Die unterste Ebene ist das vollständige Protokoll des aktuellen Gesprächs, wie ein schwebendes Fenster, das die sofortige Kohärenz gewährleistet. Was passiert, wenn das Fenster voll ist?

Die Bedeutung des gleitenden Fensters ist, dass selbst wenn das aktuelle Gesprächsfenster aufgrund der Längenbeschränkung "gleitet" und die ältesten Nachrichten entfernt werden, dein permanentes Gedächtnis und die Zusammenfassung deiner aktuellen Interessen weiterhin erhalten bleiben. Das stellt sicher, dass die KI selbst in langen Gesprächen nicht "vergisst", wer du bist.

Diese vierstöckige Struktur ist der Sieg der Ingenieurskunst. Sie erreicht ein perfektes Gleichgewicht zwischen Personalisierung, Leistung und Berechnungskosten und bietet die beste Benutzererfahrung, ohne die komplexesten Systeme zu benötigen.