LOGIC هو نتيجة أكثر من عام من العمل الجاد من فريق @inference_net. إنها أقوى طريقة للتأكد من أن مزود الاستدلال الخاص بك لا يفعل أي شيء سطحي. إنه يعمل خارج الصندوق مع @vllm_project و @OpenRouterAI وأي مزود يقوم بإرجاع logprops
Inference
Inference‏8 نوفمبر، 00:55
اليوم ، نصدر LOGIC: طريقة جديدة للتحقق من استدلال LLM في البيئات غير الموثوق بها. - يكتشف استبدال النموذج والتكميم وهجمات فك تشفير الوقت - يعمل خارج الصندوق مع @vllm_project و @sgl_project و @OpenRouterAI والمزيد (تحتاج فقط إلى logprops) - قوية عبر أنواع وحدات معالجة الرسومات وتكوينات الأجهزة - نفقات حسابية منخفضة (~ 1٪ من التكلفة الإجمالية) المدونة: رمز:
@inference_net @vllm_project @OpenRouterAI كانت هذه مشكلة صعبة للغاية لحلها ، مع العديد من الفروق الدقيقة وحالات الحافة. صرخ @AmarSVS و @francescodvirga و @bonham_sol على كل عملهم الشاق في هذا الشأن
‏‎4.09‏K