Я думаю, что это имеет более широкий контекст и является ультраразреженной MoE. Параметры активации Gpt 4.5 значительно выше по сравнению с Grok/Gemini.