LOGIC je výsledkem více než roční tvrdé práce týmu @inference_net. Je to nejrobustnější způsob, jak se ujistit, že váš poskytovatel odvozování nedělá nic útržkovitého. Funguje ihned po vybalení s @vllm_project, @OpenRouterAI a všemi poskytovateli, kteří vracejí logprops
Inference
InferencePřed 14 h
Dnes vydáváme LOGIC: novou metodu pro ověření LLM inference v prostředích bez důvěry. - Detekuje substituci modelu, kvantizaci a útoky na dekódování v čase - Funguje ihned po vybalení s @vllm_project, @sgl_project, @OpenRouterAI a dalšími (stačí jen logprops) - Robustní napříč typy GPU a hardwarovými konfiguracemi - Nízká výpočetní režie (~1 % celkových nákladů) Blog: Kód:
@inference_net @vllm_project @OpenRouterAI Jednalo se o neuvěřitelně složitý problém s mnoha nuancemi a okrajovými případy. Poděkování @AmarSVS, @francescodvirga a @bonham_sol za všechnu jejich tvrdou práci na této věci
3,05K