Святі небеса... ця стаття, можливо, є найважливішим зрушенням у тому, як ми використовуємо LLM протягом усього року. "Великі причинні моделі з великих мовних моделей." Це показує, що можна вирощувати повні причинні моделі безпосередньо з LLM, а не з апроксимації, не з вібрацій, з реальних причинних графів, контрфактичних аргументів, інтервенцій і структур, що перевіряються обмеженнями. І спосіб, у який вони це роблять, просто неймовірний: Замість того, щоб навчати спеціалізовану причинну модель, вони допитують LLM, як науковець: → витягти кандидатний причинний граф із тексту → попросити модель перевірити умовні незалежності → виявляти суперечності → переглянути структуру → тестувати контрфакти та інтервенційні прогнози → ітерації, доки причинна модель не стабілізується Результат — це те, чого ми ніколи раніше не мали: причинно-наслідкову систему, побудовану всередині LLM із використанням власних знань прихованого світу. У синтетичних, реальних, заплутаних доменах ці LCM перевершують класичні методи причинного відкриття, оскільки вони спираються на величезні попередні знання LLM, а не лише на локальні кореляції. А контрфактичне міркування? Вражаюче сильний. Модель може відповісти на питання «а що як», на які стандартні алгоритми повністю не справляються, просто тому, що вона вже «знає» про світ речі, які ці алгоритми не можуть зробити лише з даних. Ця стаття натякає на майбутнє, де LLM — це не просто машини для створення шаблонів. Вони стають системами причинних двигунів, які формують, тестують і вдосконалюють структурні пояснення реальності. Якщо це масштабується, кожна галузь, що базується на економіці причинних висновків, медицині, політиці, науці, ось-ось буде переписана. LLM не просто розкажуть, що відбувається. Вони скажуть чому.

Ця стаття DeepMind тихо знищила найзаспокійливішу брехню щодо безпеки ШІ. Ідея, що безпека залежить від поведінки моделей, здається розумною. Також неправильно, коли системи масштабуються. DeepMind показує, чому середні значення перестають мати значення, коли розгортання охоплює мільйони взаємодій. Стаття переосмислює безпеку AGI як проблему розподілу. Важлива не типова поведінка. Це хвіст. Рідкісні невдачі. Крайні випадки. Події з низькою ймовірністю, які здаються ігнорованими в тестах, але стають неминучими в реальному світі. Бенчмарки, червона команда та демонстрації — усі вони мають середню частину. Розгортання бере зразки всього всього. Дивні користувачі, дивні стимули, ворожі зворотні зв'язки, середовища, які ніхто не планував. У масштабах такі випадки перестають бути рідкісними. Вони гарантовані. Ось неприємне усвідомлення: прогрес може зробити системи безпечнішими, водночас тихо роблячи їх більш небезпечними. Якщо можливості зростають швидше, ніж контроль хвоста, видимі відмови зменшуються, а ризик катастрофи накопичується поза кадром. Дві моделі можуть виглядати ідентично в середньому, але водночас суттєво відрізнятися у найгірших випадках. Поточні оцінки не бачать такої прогалини. Системи управління припускають, що це можливо. Ви не можете сертифікувати безпеку за допомогою обмежених тестів, коли ризик переходить у розподіл. Ви ніколи не тестуєте систему, яку фактично розгортаєте. Ти пробуєш майбутнє, яке не контролюєш. Ось це справжній жарт. Безпека AGI — це не модельна характеристика. Це системна проблема. Контекст розгортання, стимули, моніторинг і те, скільки ризику від хвоста допускає суспільство — все це має значення більше, ніж чисті середні показники. Ця стаття не заспокоює. Це знімає ілюзію. Питання не в тому, чи зазвичай модель добре поводиться. Це те, що відбувається, коли цього немає — і як часто це дозволено, перш ніж масштаб робить це неприйнятним. Стаття:

Внутрішній стиль підказки в Anthropic зовсім відрізняється від того, чого більшість людей навчають. Я провів 3 тижні, аналізуючи їхню офіційну документацію, бібліотеку запитів і приклади API. Лише 2% користувачів знають про XML-структуровані запити. Ось кожен секрет, який я витягнув 👇