Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Wofür ist Peer-Review da? Stellen Sie sich vor, #AI kann technisch korrekte Rückmeldungen geben, die den gleichen Inhalt wie die durchschnittliche Bewertung haben, dann ist es wichtig, was diese bestimmten Gutachter für wichtig halten („Geschmack“)?
25. Nov. 2025
Veröffentlichung eines neuen "Agentic Reviewer" für Forschungsarbeiten. Ich habe damit als Wochenendprojekt begonnen, und @jyx_su hat es viel besser gemacht.
Ich wurde von einem Studenten inspiriert, dessen Arbeit 6 Mal über 3 Jahre abgelehnt wurde. Ihr Feedbackprozess – jedes Mal ~6 Monate auf Feedback warten – war schmerzhaft langsam. Wir wollten sehen, ob ein agentischer Workflow Forschern helfen kann, schneller zu iterieren.
Als wir das System mit den Bewertungen von ICLR 2025 trainierten und die Spearman-Korrelation (höher ist besser) im Testset maßen:
- Korrelation zwischen zwei menschlichen Gutachtern: 0.41
- Korrelation zwischen KI und einem menschlichen Gutachter: 0.42
Das deutet darauf hin, dass agentisches Reviewen sich der menschlichen Leistungsfähigkeit nähert.
Der Agent stützt sein Feedback, indem er arXiv durchsucht, sodass er am besten in Bereichen wie KI funktioniert, wo die Forschung dort frei veröffentlicht wird. Es ist ein experimentelles Werkzeug, aber ich hoffe, es hilft Ihnen bei Ihrer Forschung.
Schauen Sie es sich hier an:
Ich habe als Gutachter oft mit diesem Problem zu kämpfen: Ich denke, dass #AI ziemlich genaue technische Kommentare liefert. Damit meine Arbeit als Gutachter wirklich sinnvoll erscheint, muss ich glauben, dass meine persönliche Meinung und Sichtweise wichtig sind. Aber sollten die Meinungen/Geschmäcker der Gutachter eine Rolle spielen?
1,92K
Top
Ranking
Favoriten