Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Peter Wildeford🇺🇸🚀
- Globally ranked top 20 forecaster 🎯
- Former data scientist
- Goal: ensure AI leads to freedom and prosperity for all
- Pro-🇺🇸, Pro-AI, Pro-human, Pro-safe
Опитування республіканців від республіканського соціолога показують, що республіканцям було б набагато краще підтримати регулювання ШІ, а не протистояти їм.
23 груд., 00:33
Нові опитування показують, що громадськість віддає перевагу єдиній національній системі штучного інтелекту замість 50-штатної клаптики на 20 пунктів, і більше того підтримує виконавчі дії до того часу, поки Конгрес не зможе діяти. Повне виправдання підходу президента Трампа «Єдина книга правил».
36
METR не є на 100% «безпечним», але залишається одним із найцінніших еталонів, оскільки ним керує компетентна, добре забезпечена команда, яка включає багато різноманітних завдань, що не є публічно доступними для навчання.
Інші бенчмарки можуть бути «обіграні» ШІ, які знають відповіді заздалегідь (розв'язуються приватними наборами утримання) або виконують реальні завдання (вирішуються завдяки різноманітності завдань). ... Бенчмарки також можуть бути порушені в деяких аспектах (наприклад, оригінальний SWE-Bench до «SWE-Bench Verified» мав випадково нерозв'язні проблеми).
Я вважаю, що різні еталони вписуються в рівні. METR відчувається як золотий стандарт оцінки першого рівня. ARC-AGI та FrontierMath теж не такі вже й погані, мабуть, як Tier 2. SWE-Bench здається менш важливим, коли у вас вже є METR. Я дуже хочу отримати більше топових еталонів поза математикою та інженерією. Я з нетерпінням чекаю ARC-AGI-3 (відеоігри).
21 груд., 22:13
Чому саме цей бенчмарк вважається стійким до гниття бенчмарків?
Чому лабораторії можуть націлюватися на ARC-AGI, HLE, SWE-bench тощо, а METR вважається безпечним?
741
Найкращі
Рейтинг
Вибране