LOGIC è il risultato di oltre un anno di duro lavoro del team di @inference_net. È il modo più robusto per assicurarti che il tuo fornitore di inferenza non stia facendo nulla di sospetto. Funziona subito con @vllm_project, @OpenRouterAI e qualsiasi fornitore che restituisca logprops
Inference
Inference21 ore fa
Oggi rilasciamo LOGIC: un nuovo metodo per verificare l'inferenza LLM in ambienti senza fiducia. - Rileva sostituzione del modello, quantizzazione e attacchi in fase di decodifica - Funziona immediatamente con @vllm_project, @sgl_project, @OpenRouterAI e altro (è necessario solo logprops) - Robusto su diversi tipi di GPU e configurazioni hardware - Basso sovraccarico computazionale (~1% del costo totale) Blog: Codice:
@inference_net @vllm_project @OpenRouterAI Questo è stato un problema incredibilmente difficile da risolvere, con molte sfumature e casi limite. Un ringraziamento a @AmarSVS, @francescodvirga e @bonham_sol per tutto il loro duro lavoro su questo
3,39K