もしかしたら、トップケイだけでいいのかもしれません。 最初はMLP(スイッチスタイルのMoE)用に登場しました 今、注目を集めています - DSV3.2 スパース アテンション