LOGICは、@inference_netチームの1年以上の努力の結果です。 これは、推論プロバイダーが大ざっぱなことをしていないことを確認するための最も堅牢な方法です。 @vllm_project、@OpenRouterAI、およびlogpropsを返すプロバイダーですぐに使用できます
Inference
Inference11月8日 00:55
本日、トラストレス環境での LLM 推論を検証するための新しい方法である LOGIC: A new method for verify LLM inference をリリースしました。 - モデル置換、量子化、デコード時間攻撃を検出 - @vllm_project、@sgl_project、@OpenRouterAIなどですぐに動作します(logpropsのみが必要) - GPUタイプやハードウェア構成全体で堅牢性 - 低い計算オーバーヘッド (総コストの ~1%) ブログ: コード:
@inference_net @vllm_project @OpenRouterAI これは、多くのニュアンスやエッジケースがあり、解決するのが非常に難しい問題でした。 @AmarSVS、@francescodvirga、@bonham_solの皆さんの努力に感謝します
3.77K