LOGIC es el resultado de más de un año de arduo trabajo del equipo de @inference_net. Es la forma más sólida de asegurarse de que su proveedor de inferencia no esté haciendo nada incompleto. Funciona de inmediato con @vllm_project, @OpenRouterAI y cualquier proveedor que devuelva logprops
Inference
Inference8 nov, 00:55
Today, we release LOGIC: A novel method for verifying LLM inference in trustless environments. - Detects model substitution, quantization, and decode-time attacks - Works out of the box with @vllm_project, @sgl_project, @OpenRouterAI, and more (just need logprops) - Robust across GPU types and hardware configurations - Low computational overhead (~1% of total cost) Blog: Code:
@inference_net @vllm_project @OpenRouterAI Este fue un problema increíblemente difícil de resolver, con muchos matices y casos extremos. Un saludo a @AmarSVS, @francescodvirga y @bonham_sol por todo su arduo trabajo en esto
4.09K