Estamos a abrir o código do Perception Encoder Audiovisual (PE-AV), o motor técnico que ajuda a impulsionar a separação de áudio de última geração da SAM Audio. Baseado no nosso modelo Perception Encoder do início deste ano, o PE-AV integra áudio com percepção visual, alcançando resultados de ponta em uma ampla gama de benchmarks de áudio e vídeo. O seu suporte multimodal nativo pode ajudar as pessoas em tarefas do dia a dia, incluindo detecção de som e uma compreensão mais rica de cenas áudio-visuais. 🔗 Leia o artigo: 🔗 Baixe o código: