المواضيع الرائجة
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
تسريع الانتشار LLMs عبر فك التشفير المتوازي التكيفي
ورقة رائعة حول تسريع LLMs على غرار الانتشار (dLLMs) بمقدار 22 ضعفا. باستخدام ذاكرة التخزين المؤقت KV ، يمكن دفع التسرعات إلى 57x.
غالبا ما تضيع dLLMs الوقت: فهي تقوم بإعادة إخفاء غير ضرورية وفك تشفير ثقيل أثناء تقليل التشفير شبه الانحداري. يضيف Learn2PD حيلتين بسيطتين لتقليل هذه النفايات.
اكتشاف "تم" أكثر ذكاء لكل رمز مميز: يتعلم نموذج مرشح صغير معرفة ما إذا كان الرمز المميز صحيحا بالفعل. بمجرد وضع علامة "تم" ، لن يتم لمسها مرة أخرى. هذا يتجنب حلقة إعادة الإخفاء المستمرة ويسرع فك التشفير كثيرا.
التوقف عند انتهاء الإجابة: إذا ظهر الرمز المميز لنهاية النص، يتوقف فك التشفير على الفور. هذا يقتل كميات هائلة من الحشو ، خاصة بالنسبة للمخرجات الطويلة.
يحققون تعزيزات كبيرة للسرعة دون أي خسارة في الجودة تقريبا. في GSM8K (مسائل الرياضيات) ، تحسنت السرعة بنسبة 22× عند 1024 رمزا مع الدقة دون تغيير بشكل أساسي. للحصول على مخرجات أطول ، تصبح عمليات التسريع أكبر.
يعمل مع ذاكرة التخزين المؤقت KV: يمكنك الجمع بين حيل التخزين المؤقت ، ويمكنك دفع التسرعات إلى 57× ، بدقة قوية.
خفيف الوزن وسهل الإضافة: الفلتر هو مجرد MLP صغير مع معلمات ~ 2K. لا تعيد تدريب النموذج الأساسي ، ما عليك سوى تدريب المرشح اللاحق وإسقاطه في حلقة فك التشفير.

الأفضل
المُتصدِّرة
التطبيقات المفضلة