Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Waar is peer review voor? Stel je voor dat #AI technisch correcte feedback kan geven die hetzelfde is als die van de gemiddelde beoordelaar, waarom zouden we ons dan nog iets aantrekken van wat deze specifieke beoordelaars belangrijk vinden ("smaak")?
25 nov 2025
Een nieuwe "Agentic Reviewer" voor onderzoeksartikelen wordt uitgebracht. Ik begon hieraan te coderen als een weekendproject, en @jyx_su heeft het veel beter gemaakt.
Ik werd geïnspireerd door een student die 6 keer in 3 jaar tijd een artikel afgewezen kreeg. Hun feedbackcyclus -- wachten op ~6 maanden voor feedback elke keer -- was pijnlijk traag. We wilden zien of een agentic workflow onderzoekers kan helpen sneller te itereren.
Toen we het systeem trainden op de ICLR 2025 beoordelingen en de Spearman correlatie (hoe hoger, hoe beter) op de testset maten:
- Correlatie tussen twee menselijke beoordelaars: 0.41
- Correlatie tussen AI en een menselijke beoordelaar: 0.42
Dit suggereert dat agentic reviewing de prestaties van mensen benadert.
De agent baseert zijn feedback door arXiv te doorzoeken, dus het werkt het beste in velden zoals AI waar onderzoek daar vrij wordt gepubliceerd. Het is een experimentele tool, maar ik hoop dat het je helpt met je onderzoek.
Bekijk het hier:
Ik worstel vaak met dit probleem als beoordelaar: ik denk dat #AI vrij nauwkeurige technische opmerkingen geeft. Dus, om mijn beoordelingswerk echt betekenisvol te laten voelen, moet ik geloven dat mijn persoonlijke mening en perspectief belangrijk zijn. Maar zouden de meningen/smaken van referees ertoe moeten doen?
1,95K
Boven
Positie
Favorieten