Nowy model myślenia Kimi K2 z parametrami 1 biliona działa dobrze na 2 M3 Ultras w swoim natywnym formacie - bez utraty jakości! Model był trenowany z uwzględnieniem kwantyzacji (qat) w int4. Tutaj wygenerował ~3500 tokenów przy 15 tokach/sek używając równoległości potokowej w mlx-lm:
Wygenerował w pełni funkcjonalną grę Space Invaders bez problemu. Użył tylko kilkuset tokenów myślowych i 3500 ogółem, co jest całkiem miłe.
328,11K