LOGIC, @inference_net ekibinin bir yılı aşkın sıkı çalışmasının sonucudur. Çıkarım sağlayıcınızın yarım yamalak bir şey yapmadığından emin olmanın en sağlam yoludur. @vllm_project, @OpenRouterAI ve logprop döndüren herhangi bir sağlayıcı ile kullanıma hazır olarak çalışır
Inference
Inference8 Kas 2025
Bugün, LOGIC'i yayınlıyoruz: Güvenilmez ortamlarda LLM çıkarımını doğrulamak için yeni bir yöntem. - Model değiştirme, niceleme ve kod çözme süresi saldırılarını algılar - Kutudan çıktığı haliyle @vllm_project, @sgl_project, @OpenRouterAI ve daha fazlasıyla çalışır (sadece günlük prop'lara ihtiyacınız var) - GPU türleri ve donanım yapılandırmaları arasında sağlam - Düşük hesaplama yükü (toplam maliyetin ~%1'i) Blog Yazıları: Kod:
@inference_net @vllm_project @OpenRouterAI Bu, birçok nüans ve uç durumla çözülmesi inanılmaz derecede zor bir problemdi. Bu konudaki tüm sıkı çalışmaları için @AmarSVS, @francescodvirga ve @bonham_sol'a sesleniyorum
4,09K