Возможно, top-k — это всё, что вам нужно. Сначала это пришло для MLP - MoE в стиле переключателя Теперь это приходит для внимания - разреженное внимание DSV3.2