Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Vad är peer review till för? Föreställ dig att #AI kan ge tekniskt korrekt feedback som är densamma som den genomsnittliga recensentens, är det då så att vi bryr oss om vad just dessa recensenter tycker är viktigt ("smak")?
25 nov. 2025
Släpper en ny "Agentic Reviewer" för forskningsartiklar. Jag började koda detta som ett helgprojekt, och @jyx_su gjorde det mycket bättre.
Jag blev inspirerad av en student som fick en artikel refuserad 6 gånger under 3 år. Deras återkopplingsslinga – att vänta ~6 månader på återkoppling varje gång – var smärtsamt långsam. Vi ville se om ett agentiskt arbetsflöde kan hjälpa forskare att iterera snabbare.
När vi tränade systemet på ICLR 2025-översikter och mätte Spearman-korrelationen (högre är bättre) på testuppsättningen:
- Korrelation mellan två mänskliga granskare: 0,41
- Korrelation mellan AI och en mänsklig granskare: 0,42
Detta tyder på att agentisk granskning närmar sig prestation på mänsklig nivå.
Agenten grundar sin feedback genom att söka i arXiv, så det fungerar bäst inom områden som AI där forskning publiceras fritt. Det är ett experimentellt verktyg, men jag hoppas det hjälper dig med din forskning.
Kolla in den här:
Jag har stora problem med detta som recensent: jag tycker att #AI ger ganska korrekta tekniska kommentarer. Så för att mitt recensionsarbete ska kännas riktigt meningsfullt måste jag tro att min personliga åsikt och synpunkt är viktiga. Men borde domarnas åsikter/smak spela roll?
1,94K
Topp
Rankning
Favoriter