LOGIC 是 @inference_net 团队经过一年多努力工作的成果。 这是确保您的推理提供者没有做任何可疑事情的最可靠方法。 它可以开箱即用,与 @vllm_project、@OpenRouterAI 以及任何返回 logprops 的提供者兼容。
Inference
Inference22 小时前
今天,我们发布了LOGIC:一种在无信任环境中验证LLM推理的新方法。 - 检测模型替换、量化和解码时攻击 - 与@vllm_project、@sgl_project、@OpenRouterAI等项目开箱即用(只需logprops) - 在各种GPU类型和硬件配置下都表现稳健 - 计算开销低(约占总成本的1%) 博客: 代码:
@inference_net @vllm_project @OpenRouterAI 这是一个非常棘手的问题,解决起来有很多细微差别和边缘案例。 感谢 @AmarSVS、@francescodvirga 和 @bonham_sol 的辛勤工作。
3.39K