El sistema de memoria de ChatGPT es muy bueno, pero consume muchos recursos, ¿cómo hace OpenAI que el sistema de memoria sirva a 800 millones de usuarios? Alguien desconstruyó el sistema de memoria de ChatGPT y descubrió que el sistema de memoria de ChatGPT era mucho más sencillo de lo esperado. No hay base de datos vectorial ni RAG en el historial de chats. En su lugar, utiliza cuatro niveles distintos: Metadatos de sesión adaptados a tu entorno, Hechos claros sobre el almacenamiento a largo plazo, Resúmenes ligeros de charlas recientes, y una ventana deslizante para la conversación actual. Este blog desglosará en detalle cómo funciona cada nivel y por qué este enfoque puede ser superior a los sistemas tradicionales de recuperación.

En esencia, es una pila contextual de cuatro capas. Con cada conversación, la IA construye este "portafolio" para inyectar toda la información clave sobre ti en el modelo de una vez. Consta de cuatro niveles de trabajo colaborativo.

La primera capa es información ambiental temporal, como tu dispositivo y ubicación, que desaparece al final de la sesión. La segunda capa es tu perfil permanente, que almacena los datos clave que le pides que recuerde.

La tercera capa es un "mapa suelto" de tus intereses recientes, con solo un resumen del título del chat, no el texto completo. En la parte inferior hay un registro completo de la conversación actual, como una ventana deslizante que asegura coherencia instantánea. ¿Qué ocurre si la ventana está llena?

El significado de la ventana deslizante es que, aunque la ventana actual de la conversación "deslize" porque alcanza el límite de longitud, el mensaje más antiguo se elimina y tus recuerdos permanentes y resúmenes recientes de intereses se conservan. Esto asegura que la IA no te "olvide", incluso durante largas conversaciones.

Esta estructura de cuatro capas es la victoria de la sabiduría ingenierina. Logra el equilibrio perfecto entre personalización, rendimiento y coste computacional, ofreciendo la mejor experiencia de usuario sin necesidad de los sistemas más complejos.