同行评审的目的是什么?想象一下,如果#AI能够提供与平均评审者相同的技术性正确反馈,那么我们是否在乎这些特定评审者认为重要的东西(“品味”)?
Andrew Ng
Andrew Ng2025年11月25日
发布一个新的“代理审稿人”用于研究论文。我开始将其作为周末项目进行编码,而@jyx_su让它变得更好。 我受到了一位学生的启发,他的论文在3年内被拒绝了6次。他们的反馈循环——每次等待约6个月的反馈——是痛苦的缓慢。我们想看看代理工作流程是否能帮助研究人员更快地迭代。 当我们在ICLR 2025的评审上训练系统并在测试集上测量斯皮尔曼相关性(越高越好)时: - 两位人类审稿人之间的相关性:0.41 - AI与人类审稿人之间的相关性:0.42 这表明代理审稿正在接近人类水平的表现。 该代理通过搜索arXiv来为其反馈提供依据,因此在像AI这样的领域中效果最佳,因为研究在这里是自由发布的。这是一个实验工具,但我希望它能帮助你进行研究。 在这里查看:
作为审稿人,我在这个问题上常常感到挣扎:我认为#AI提供的技术评论相当准确。因此,为了让我审稿的工作真正有意义,我必须相信我的个人观点和看法是重要的。但是,审稿人的意见/品味真的重要吗?
1.92K