LOGIC er resultatet av over et år med hardt arbeid fra @inference_net-teamet. Det er den mest robuste måten å sikre at inferensleverandøren din ikke gjør noe tvilsomt. Det fungerer rett ut av esken med @vllm_project, @OpenRouterAI og alle leverandører som returnerer logprops
Inference
Inference8. nov., 00:55
I dag lanserer vi LOGIC: En ny metode for å verifisere LLM-slutning i tillitsløse miljøer. - Oppdager modellsubstitusjon, kvantisering og dekodingstidsangrep - Fungerer ut av esken med @vllm_project, @sgl_project, @OpenRouterAI og mer (trenger bare logprops) - Robust på tvers av GPU-typer og maskinvarekonfigurasjoner - Lave beregningskostnader (~1 % av totalkostnaden) Blogg: Kode:
@inference_net @vllm_project @OpenRouterAI Dette var et utrolig vanskelig problem å løse, med mange nyanser og kanttilfeller. Shoutout til @AmarSVS, @francescodvirga og @bonham_sol for alt deres harde arbeid med dette
3,66K