Para que serve a revisão por pares? Imagine #AI possa dar um feedback tecnicamente correto que seja o mesmo de um avaliador médio, então será que nos importamos com o que esses avaliadores em particular acham importante ("gosto")?
Andrew Ng
Andrew Ng25 de nov. de 2025
Lançando um novo "Revisor Agente" para artigos de pesquisa. Comecei a programar isso como um projeto de fim de semana, e @jyx_su melhorou muito. Fui inspirado por um aluno que teve um artigo rejeitado 6 vezes ao longo de 3 anos. O ciclo de feedback deles — esperar ~6 meses por feedback a cada vez — era dolorosamente lento. Queríamos ver se um fluxo de trabalho agentico pode ajudar os pesquisadores a iterar mais rápido. Quando treinamos o sistema nas revisões ICLR 2025 e medimos a correlação Spearman (maior é melhor) no conjunto de teste: - Correlação entre dois revisores humanos: 0,41 - Correlação entre IA e um revisor humano: 0,42 Isso sugere que a revisão agente está se aproximando do desempenho em nível humano. O agente fundamenta seu feedback pesquisando no arXiv, então funciona melhor em áreas como IA, onde pesquisas são publicadas livremente. É uma ferramenta experimental, mas espero que ajude na sua pesquisa. Confira aqui:
Tenho muita dificuldade com esse problema como crítico: acho que #AI faz comentários técnicos bastante precisos. Então, para que meu trabalho de revisão tenha realmente significado, preciso acreditar que minha opinião pessoal e ponto de vista são importantes. Mas será que as opiniões/gostos dos árbitros deveriam importar?
1,93K