O sistema de memória do ChatGPT é muito bom, mas consome muitos recursos, como a OpenAI faz o sistema de memória atender 800 milhões de usuários? Alguém fez engenharia reversa do sistema de memória do ChatGPT e descobriu que o sistema de memória do ChatGPT era muito mais simples do que se esperava. Não há banco de dados vetorial nem RAG no histórico de chat. Em vez disso, ele usa quatro níveis distintos: Metadados de sessão adaptados ao seu ambiente, Fatos claros sobre armazenamento a longo prazo, Resumos leves de conversas recentes, e uma janela deslizante para a conversa atual. Este blog irá detalhar como cada nível funciona e por que essa abordagem pode ser superior aos sistemas tradicionais de recuperação.

No fundo, é uma pilha de contexto de quatro camadas. A cada conversa, a IA constrói esse "portfólio" para injetar todas as informações-chave sobre você no modelo de uma vez só. Consiste em quatro níveis de trabalho colaborativo.

A primeira camada é uma informação ambiental temporária, como seu dispositivo e localização, que desaparece ao final da sessão. A segunda camada é seu perfil permanente, que armazena os fatos-chave que você pede para ele lembrar.

A terceira camada é um "mapa solto" dos seus interesses recentes, com apenas um resumo do título do chat, não o texto completo. No final há um registro completo da conversa atual, como uma janela deslizante que garante coerência instantânea. O que acontece se a janela estiver cheia?

O significado da janela deslizante é que, mesmo que a janela de conversa atual "deslize" porque atinge o limite de duração, a mensagem mais antiga é removida, e suas memórias permanentes e resumos recentes de interesses ainda são preservados. Isso garante que a IA não "esqueça" você, mesmo durante conversas longas.

Essa estrutura de quatro camadas é a vitória da sabedoria da engenharia. Ele alcança o equilíbrio perfeito entre personalização, desempenho e custo computacional, proporcionando a melhor experiência ao usuário sem a necessidade dos sistemas mais complexos.