O sistema de memória do ChatGPT é muito bom, mas o consumo de recursos do sistema de memória geralmente é bastante alto. Como é que a OpenAI consegue fazer com que o sistema de memória atenda 800 milhões de usuários? Alguém fez engenharia reversa do sistema de memória do ChatGPT e descobriu que o sistema de memória do ChatGPT é muito mais simples do que se pensava. Não há banco de dados vetorial, nem RAG nas conversas. Em vez disso, ele utiliza quatro camadas completamente diferentes: metadados de conversa que se adaptam ao seu ambiente, fatos explícitos armazenados a longo prazo, sumários leves de conversas recentes, e uma janela deslizante da conversa atual. Este blog irá detalhar como cada camada funciona e por que essa abordagem pode ser superior aos sistemas de recuperação tradicionais.

O seu núcleo é uma pilha de contexto de quatro camadas. A cada conversa, a AI constrói este "arquivo", injetando todas as informações chave sobre você de uma só vez no modelo. É composto por quatro níveis que trabalham em conjunto.

A primeira camada é a informação ambiental temporária, como o seu dispositivo e localização, que desaparece ao final da sessão. A segunda camada é o seu perfil pessoal permanente, que armazena os fatos-chave que você pede para lembrar.

O terceiro nível é o "mapa solto" dos seus interesses recentes, que contém apenas um resumo dos títulos das conversas, e não o texto completo. O nível mais baixo é o registro completo da conversa atual, como uma janela deslizante, garantindo a coerência imediata. E se a janela ficar cheia?

O significado da janela deslizante é que, mesmo que a janela de conversa atual "deslize" devido ao limite de comprimento, removendo as mensagens mais antigas, a sua memória permanente e o resumo de interesses recentes ainda serão mantidos. Isso garante que, mesmo em conversas longas, a IA não "esquecerá" você.

Esta estrutura de quatro camadas é uma vitória da sabedoria da engenharia. Ela alcança um equilíbrio perfeito entre personalização, desempenho e custo computacional, proporcionando a melhor experiência do usuário sem a necessidade de sistemas mais complexos.