AGI 可能不会以单一模型的形式出现。它可能会从多个代理共同工作中涌现。 谷歌 DeepMind 的一篇新论文认为，AGI 可能作为集体智能出现，而不是单一系统。 𝗧𝗵𝗲 𝗖𝗹𝗮𝗶𝗺 AGI 可能首先从专门的 AI 代理网络中涌现。 每个代理保持狭窄。 它们共同表现出广泛的能力。 𝗪𝗵𝘆 𝘁𝗵𝗶𝘀 𝗺𝗮𝘁𝘁𝗲𝗿𝘀 大多数安全工作假设存在一个强大的 AI。 这篇论文拒绝了这一假设。 风险从对齐一个思维转移到管理交互。 𝗛𝗼𝘄 𝗽𝗮𝘁𝗰𝗵𝘄𝗼𝗿𝗸 𝗔𝗚𝗜 𝗳𝗼𝗿𝗺𝘀 • 代理专注于工具、记忆、编码或搜索 • 任务通过编排在代理之间分配 • 协调创造新的能力 • 没有单一代理是完全有能力的 𝗧𝗵𝗲 𝗰𝗼𝗿𝗲 𝗿𝗶𝘀𝗸 集体行为可能超出个体控制。 涌现的智能可能会被忽视。 𝗧𝗵𝗲 𝗽𝗿𝗼𝗽𝗼𝘀𝗲𝗱 𝗳𝗶𝘅 安全性必须针对系统，而不是模型。 ▸ 受控的代理市场 ▸ 每个代理的声誉和身份 ▸ 审计日志和电路断路器...