熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
同行評審的目的為何?想像一下 #AI 能夠提供與平均評審相同的技術正確反饋,那麼我們是否在乎這些特定評審認為重要的東西(“品味”)?

2025年11月25日
發布一個新的「主動評審者」用於研究論文。我開始將這個作為週末項目進行編碼,而 @jyx_su 使其變得更好。
我受到一位學生的啟發,他的論文在三年內被拒絕了六次。他們的反饋循環——每次等待約六個月的反饋——是非常緩慢的。我們想看看主動工作流程是否能幫助研究人員更快地迭代。
當我們在 ICLR 2025 評審上訓練系統並在測試集上測量斯皮爾曼相關性(越高越好):
- 兩位人類評審者之間的相關性:0.41
- AI 與一位人類評審者之間的相關性:0.42
這表明主動評審正在接近人類水平的表現。
該代理通過搜索 arXiv 來支持其反饋,因此在 AI 等研究自由發表的領域效果最佳。這是一個實驗性工具,但我希望它能幫助你進行研究。
在這裡查看:

作為一名審稿人,我在這個問題上經常感到掙扎:我認為 #AI 提供了相當準確的技術評論。因此,為了讓我的審稿工作真正有意義,我必須相信我的個人意見和觀點是重要的。但審稿人的意見/品味真的重要嗎?
1.94K
熱門
排行
收藏

