شرح سريع للفرق بين التدريب الواعي بالتكميم (QAT) ، مثل Kimi K2 ، والتدريب منخفض الدقة (على سبيل المثال FP4). فيما يلي صورة لما تبدو عليه العملية الأمامية لكل منها. تدريب QAT هو في الغالب تحسين الاستدلال لتقليل زمن الوصول (أي الرموز المميزة في الثانية لفك تشفير الدفعات الصغيرة). من المحتمل أن يكون الإنتاجية الإجمالية أقل من استخدام bf16 أو fp8 مباشرة لأنه أثناء التدريب يكون لديك كمية إضافية + فك كمية قبل كل جوهر. التدريب منخفض الدقة (مثل FP4) يحدد كل من الأوزان والتنشيط ولا يتم فك كمها قبل الماتمول. إذا تم القيام به بشكل صحيح ، فيجب أن يرتفع الإنتاجية كثيرا. بيت القصيد هو تسريع الأحجار الكريمة باستخدام مدخلات أقل دقة.