LOGIC adalah hasil dari lebih dari setahun kerja keras dari tim @inference_net. Ini adalah cara paling kuat untuk memastikan penyedia inferensi Anda tidak melakukan sesuatu yang samar. Ini bekerja di luar kotak dengan @vllm_project, @OpenRouterAI, dan penyedia apa pun yang mengembalikan logprops
Inference
Inference22 jam lalu
Hari ini, kami merilis LOGIC: Metode baru untuk memverifikasi inferensi LLM di lingkungan tanpa kepercayaan. - Mendeteksi substitusi model, kuantisasi, dan serangan waktu decoding - Bekerja di luar kotak dengan @vllm_project, @sgl_project, @OpenRouterAI, dan lainnya (hanya perlu alat peraga) - Kuat di seluruh jenis GPU dan konfigurasi perangkat keras - Overhead komputasi rendah (~1% dari total biaya) Blog: Kode:
@inference_net @vllm_project @OpenRouterAI Ini adalah masalah yang sangat sulit untuk dipecahkan, dengan banyak nuansa dan kasus tepi. Teriakan kepada @AmarSVS, @francescodvirga dan @bonham_sol atas semua kerja keras mereka dalam hal ini
3,39K