Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
K čemu je recenzní řízení? Představte si#AI může dát technicky správnou zpětnou vazbu stejnou jako průměrný recenzent, pak nám záleží na tom, co tito konkrétní recenzenti považují za důležité ("vkus"?
25. 11. 2025
Vydání nového "agentického recenzenta" pro výzkumné práce. Začal jsem to programovat jako víkendový projekt a @jyx_su to výrazně zlepšilo.
Inspiroval mě student, jehož článek byl během tří let 6krát odmítnut. Jejich zpětná vazba – čekání ~6 měsíců na zpětnou vazbu pokaždé – byla bolestně pomalá. Chtěli jsme zjistit, zda agentický pracovní postup může výzkumníkům pomoci rychleji iterovat.
Když jsme systém trénovali na přezkumech ICLR 2025 a měřili Spearmanovu korelaci (čím více, tím lépe) na testovací sadě:
- Korelace mezi dvěma lidskými recenzenty: 0,41
- Korelace mezi AI a lidským recenzentem: 0,42
To naznačuje, že agentické hodnocení se blíží lidskému výkonu.
Agent zakládá svou zpětnou vazbu vyhledáváním na arXiv, takže nejlépe funguje v oblastech jako AI, kde je výzkum volně publikován. Je to experimentální nástroj, ale doufám, že ti pomůže při výzkumu.
Podívejte se na to zde:
Jako recenzent s tímto problémem hodně bojuji: myslím, že #AI dává poměrně přesné technické komentáře. Takže aby moje recenzní práce působila opravdu smysluplně, musím věřit, že můj osobní názor a úhel pohledu jsou důležité. Ale měly by názory a vkus rozhodčích záležet?
1,93K
Top
Hodnocení
Oblíbené