Estamos abrindo o código do Perception Encoder Audiovisual (PE-AV), o motor técnico que ajuda a impulsionar a separação de áudio de última geração da SAM Audio. Baseado em nosso modelo Perception Encoder do início deste ano, o PE-AV integra áudio com percepção visual, alcançando resultados de ponta em uma ampla gama de benchmarks de áudio e vídeo. Seu suporte multimodal nativo pode auxiliar as pessoas em tarefas do dia a dia, incluindo detecção de som e uma compreensão mais rica das cenas audiovisuais. 🔗 Leia o artigo: 🔗 Baixe o código: