Le système de mémoire de ChatGPT est très performant, mais la consommation de ressources du système de mémoire est généralement très élevée. Comment OpenAI parvient-il à faire fonctionner le système de mémoire pour 800 millions d'utilisateurs ? Des personnes ont effectué une ingénierie inverse du système de mémoire de ChatGPT et ont découvert que le système de mémoire de ChatGPT est beaucoup plus simple que prévu. Il n'y a pas de base de données vectorielle, ni de RAG sur les historiques de chat. Au contraire, il utilise quatre niveaux complètement différents : Des métadonnées de conversation qui s'adaptent à votre environnement, Des faits explicites stockés à long terme, Un résumé léger des discussions récentes, et une fenêtre glissante de la conversation actuelle. Ce blog détaillera le fonctionnement de chaque niveau et expliquera pourquoi cette approche pourrait être supérieure aux systèmes de recherche traditionnels.

Son cœur est une pile de contexte à quatre niveaux. À chaque conversation, l'AI construit ce "dossier", injectant toutes les informations clés vous concernant dans le modèle en une seule fois. Il est composé de quatre niveaux qui travaillent en synergie.

Le premier niveau est des informations environnementales temporaires, comme votre appareil et votre position, qui disparaissent à la fin de la session. Le deuxième niveau est votre profil personnel permanent, qui stocke les faits clés que vous lui demandez de se souvenir.

Le troisième niveau est une "carte lâche" de vos intérêts récents, ne contenant que des résumés des titres de discussion, et non le texte intégral. Le niveau le plus bas est l'enregistrement complet de la conversation actuelle, comme une fenêtre coulissante, garantissant une cohérence instantanée. Que se passe-t-il si la fenêtre est pleine ?

La signification de la fenêtre glissante est que même si la fenêtre de conversation actuelle "glisse" en raison de la limite de longueur atteinte et que les messages les plus anciens sont supprimés, ta mémoire permanente et le résumé de tes intérêts récents seront toujours conservés. Cela garantit que même dans de longues conversations, l'IA ne "oubliera" pas qui tu es.

Cette structure à quatre niveaux est la victoire de l'ingéniosité technique. Elle atteint un équilibre parfait entre personnalisation, performance et coût de calcul, offrant la meilleure expérience utilisateur sans nécessiter les systèmes les plus complexes.