Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Do czego służy recenzja rówieśnicza? Wyobraź sobie, że #AI może dać technicznie poprawną opinię, która jest taka sama jak średnia ocena recenzenta, to czy naprawdę obchodzi nas, co ci konkretni recenzenci uważają za ważne („gust”)?
25 lis 2025
Wydanie nowego "Agentic Reviewer" do prac badawczych. Zacząłem to kodować jako projekt weekendowy, a @jyx_su znacznie to poprawił.
Zainspirował mnie student, którego praca została odrzucona 6 razy w ciągu 3 lat. Ich pętla feedbackowa -- czekanie ~6 miesięcy na feedback za każdym razem -- była boleśnie wolna. Chcieliśmy sprawdzić, czy agentowy proces roboczy może pomóc badaczom szybciej iterować.
Kiedy przeszkoliliśmy system na recenzjach ICLR 2025 i zmierzyliśmy korelację Spearmana (im wyższa, tym lepsza) na zbiorze testowym:
- Korelacja między dwoma recenzentami ludzkimi: 0.41
- Korelacja między AI a recenzentem ludzkim: 0.42
To sugeruje, że agentowe recenzowanie zbliża się do wydajności na poziomie ludzkim.
Agent opiera swoje feedbacki na wyszukiwaniu w arXiv, więc najlepiej działa w dziedzinach takich jak AI, gdzie badania są tam publikowane za darmo. To narzędzie eksperymentalne, ale mam nadzieję, że pomoże Ci w Twoich badaniach.
Sprawdź to tutaj:
Borykam się z tym problemem jako recenzent: uważam, że #AI daje dość dokładne komentarze techniczne. Aby moja praca recenzencka miała naprawdę sens, muszę wierzyć, że moja osobista opinia i punkt widzenia są ważne. Ale czy opinie/gusty recenzentów powinny mieć znaczenie?
1,93K
Najlepsze
Ranking
Ulubione