LOGIC ist das Ergebnis von über einem Jahr harter Arbeit des @inference_net-Teams. Es ist der robusteste Weg, um sicherzustellen, dass Ihr Inferenzanbieter nichts Unheimliches macht. Es funktioniert sofort mit @vllm_project, @OpenRouterAI und jedem Anbieter, der logprops zurückgibt.
Inference
Inference8. Nov., 00:55
Today, we release LOGIC: A novel method for verifying LLM inference in trustless environments. - Detects model substitution, quantization, and decode-time attacks - Works out of the box with @vllm_project, @sgl_project, @OpenRouterAI, and more (just need logprops) - Robust across GPU types and hardware configurations - Low computational overhead (~1% of total cost) Blog: Code:
@inference_net @vllm_project @OpenRouterAI Dies war ein unglaublich kniffliges Problem zu lösen, mit vielen Nuancen und Randfällen. Ein großes Dankeschön an @AmarSVS, @francescodvirga und @bonham_sol für ihre harte Arbeit daran.
4,09K