天哪……这篇论文可能是我们今年使用LLM的最重要转变。 “从大型语言模型中提取的大型因果模型。” 它展示了你可以直接从LLM中生成完整的因果模型，而不是近似值，不是感觉，而是真正的因果图、反事实、干预和约束检查结构。 而他们的做法真是疯狂： 而不是训练一个专门的因果模型，他们像科学家一样审问LLM： → 从文本中提取候选因果图 → 让模型检查条件独立性 → 检测矛盾 → 修订结构 → 测试反事实和干预预测 → 迭代直到因果模型稳定 结果是我们从未拥有过的东西： 一个在LLM内部构建的因果系统，利用其自身的潜在世界知识。 在基准测试、合成、真实世界、混乱领域中，这些LCM超越了经典的因果发现方法，因为它们利用了LLM的庞大先验知识，而不仅仅是局部相关性。 而反事实推理呢？ 令人震惊的强大。 该模型可以回答“如果”问题，而标准算法完全无法做到这一点，仅仅因为它已经“知道”一些关于世界的事情，而这些算法无法仅从数据中推断出来。 这篇论文暗示了一个未来，在这个未来中，LLM不仅仅是模式机器。 它们成为因果引擎，形成、测试和完善现实的结构解释。 如果这能扩展，每个依赖因果推断的领域——经济学、医学、政策、科学——都将被重写。 LLM不仅会告诉你发生了什么。 它们会告诉你为什么。

这篇DeepMind的论文悄然揭穿了AI安全领域中最令人安慰的谎言。 安全性是关于模型大多数时间的表现，这个想法听起来合理。但在系统规模扩大时，它也是错误的。DeepMind展示了当部署达到数百万次交互时，平均值为何不再重要。 这篇论文将AGI安全重新框定为一个分布问题。重要的不是典型行为，而是尾部。罕见的失败。边缘案例。那些在测试中看似可以忽略的低概率事件，在现实世界中却变得不可避免。 基准测试、红队测试和演示都采样中间部分。部署则采样一切。奇怪的用户、奇怪的激励、敌对的反馈循环、没人计划的环境。在规模化时，这些案例不再稀有。它们是必然的。 这里有一个不舒服的洞察：进步可能让系统看起来更安全，同时悄然使其变得更危险。如果能力增长快于尾部控制，明显的失败会减少，而灾难性风险则在屏幕外堆积。 两个模型在平均值上看起来相同，但在最坏情况下的表现却可能大相径庭。当前的评估无法看到这个差距。治理框架假设它们可以。 当风险存在于分布转移中时，你无法通过有限的测试来认证安全性。你从未测试过你实际部署的系统。你是在采样一个你无法控制的未来。 这才是真正的笑点。 AGI安全不是模型属性，而是一个系统问题。部署背景、激励、监控，以及社会容忍多少尾部风险，远比干净的平均值更重要。 这篇论文并没有让人安心。它揭穿了幻觉。 问题不在于模型通常表现良好。 而在于当它表现不佳时会发生什么——以及在规模化之前，允许这种情况发生的频率有多高。 论文：

Anthropic 的内部提示风格与大多数人教授的完全不同。 我花了 3 周时间分析他们的官方文档、提示库和 API 示例。 只有 2% 的用户知道 XML 结构化提示。 这是我提取的每一个秘密 👇