热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Peter Wildeford🇺🇸🚀
- 全球排名前20的预测专家 🎯
- 前数据科学家
- 目标：确保人工智能带来所有人的自由与繁荣
- 支持🇺🇸、支持人工智能、支持人类、支持安全
来自一位共和党民调员的共和党民调显示，共和党人在支持AI监管方面的选举表现将远远好于反对监管。
12月23日 00:33
新的民调显示，公众支持单一国家AI框架而非50个州的拼凑，支持率高出20个百分点。此外，公众支持在国会能够采取行动之前采取行政行动。这是对特朗普总统“一本规则”的方法的完全证明。
47
METR 并不是 100% "安全"，但它仍然是最有价值的基准之一，因为它由一个资源丰富、能力出众的团队运行，团队中包括许多不公开的任务供训练使用。
其他基准可能会被 AI "游戏化"，因为它们提前知道答案（通过私有保留集解决）或在任务上进行强化学习（通过拥有多样化的任务解决）。...基准也可能在某些方面被搞砸（例如，原始的 SWE-Bench 在 "SWE-Bench Verified" 之前有一些意外无法解决的问题）。
我认为不同的基准可以分为不同的层级。METR 感觉像是黄金标准的 Tier 1 评估。ARC-AGI 和 FrontierMath 也还不错，可能属于 Tier 2。SWE-Bench 在你已经拥有 METR 的情况下似乎不那么重要。我非常希望能有更多数学和工程以外的顶级基准。我对 ARC-AGI-3（视频游戏相关的）感到兴奋。
12月21日 22:13
为什么这个特定的基准被认为免受基准腐烂的影响？
实验室为什么可以针对 ARC-AGI、HLE、SWE-bench 等，但 METR 被认为是安全的？
763
热门
排行
收藏