Mechanizm działania ChatGPT Pulse jest bardzo podobny do Sleep-time Compute firmy Letta, zajmującej się AI IDE. W kwietniu dzieliłem się związanymi z tym pracami naukowymi. Używając zapytania użytkownika jako granicy, model po otrzymaniu zapytania jest traktowany jako "faza budzenia" (test-time compute), a przed tym jako "faza snu" (sleep-time compute). Zadaniem LM jest: "Zastanów się nad tym kontekstem, jakie informacje mogą być przydatne?" Te informacje są strukturalizowane w formie "stanu" (state) i zapisywane. ChatGPT Pulse może bezpośrednio generować zapytania użytkowników. Innowacje metod małych firm wydają się stopniowo być wchłaniane przez duże firmy.