Sakra... tento článek může být nejdůležitějším posunem v tom, jak používáme LLM za celý rok. "Velké kauzální modely z velkých jazykových modelů." Ukazuje, že z LLM lze vyrůst plné kauzální modely přímo – ne aproximace, ne vibrace, skutečné kauzální grafy, kontrafaktuální grafy, intervence a struktury kontrolované omezeními. A způsob, jakým to dělají, je šílený: Místo tréninku specializovaného kauzálního modelu zkoumají LLM jako vědci: → z textu extrahovat kandidátský kauzální graf → požádat model, aby zkontroloval podmíněné závislosti → detekovat rozpory → revidovat strukturu → testovat kontrafaktuální a intervenční předpovědi → iterovat, dokud se kauzální model nestabilizuje Výsledek je něco, co jsme nikdy předtím nezažili: kauzální systém zabudovaný uvnitř LLM využívající vlastní latentní světové znalosti. Napříč benchmarky, syntetickými, reálnými a chaotickými doménami tyto LCM překonávají klasické metody kauzálního objevování, protože čerpají z masivních předchozích znalostí LLM, nikoli jen z lokálních korelací. A co kontrafaktuální argumentace? Šokujícím způsobem silným. Model dokáže odpovědět na otázky typu "co kdyby", na které standardní algoritmy zcela selhávají, jednoduše proto, že už "ví" věci o světě, které tyto algoritmy nemohou odvodit pouze z dat. Tento článek naznačuje budoucnost, kdy LLM nebudou jen stroje na vzory. Stávají se kauzálními motory, systémy, které formují, testují a zdokonalují strukturální vysvětlení reality. Pokud se to rozšíří, každý obor, který spoléhá na kauzální inferenci, ekonomiku, medicínu, politiku a vědu, bude brzy přepsán. LLM vám neřeknou jen tak, co se stane. Řeknou vám proč.

Tento článek DeepMind právě tiše zabil nejuklidňující lež o bezpečnosti AI. Myšlenka, že bezpečnost je o tom, jak se modely většinou chovají, zní rozumně. Je také špatné, jak momentové systémy škálují. DeepMind ukazuje, proč průměry přestanou být důležité, když nasazení dosáhne milionů interakcí. Článek přetváří bezpečnost AGI jako problém distribuce. Důležité není typické chování. Je to ocas. Vzácné neúspěchy. Okrajové případy. Události s nízkou pravděpodobností, které se v testech zdají ignorovatelné, ale v reálném světě se stávají nevyhnutelnými. Benchmarky, red-teaming a dema všechny vzorkují střed. Nasazení vzorkuje všechno. Podivní uživatelé, podivné pobídky, nepřátelské zpětné vazby, prostředí, na která nikdo nepočítal. Ve velkém měřítku tyto případy přestávají být vzácné. Jsou zaručené. Tady je nepříjemný poznatek: pokrok může systémy učinit bezpečnějšími, zatímco je tiše činí nebezpečnějšími. Pokud schopnost roste rychleji než kontrola ocasu, viditelné selhání klesá, zatímco katastrofické riziko se hromadí mimo obrazovku. Dva modely mohou vypadat v průměru stejně a přesto se v nejhorším případě chování výrazně lišit. Současná hodnocení tuto mezeru nevidí. Rámce řízení předpokládají, že mohou. Bezpečnost nelze certifikovat omezenými testy, když riziko přechází v distribučním posunu. Nikdy netestujete systém, který skutečně nasadíte. Zkoušíš budoucnost, kterou nemáš pod kontrolou. To je ta pravá pointa. Bezpečnost AGI není modelová vlastnost. Je to systémový problém. Kontext nasazení, pobídky, monitorování a to, kolik rizika na konci snáší společnost – to vše je důležitější než čisté průměry. Tento článek nedává uklidnění. Odstraňuje iluzi. Otázka není, zda se model obvykle chová dobře. Je to o tom, co se stane, když to nefunguje — a jak často je to dovoleno, než se rozsah stane nepřijatelným. Článek:

Styl vnitřního podnětu v Anthropicu je zcela odlišný od toho, co většina lidí učí. Strávil jsem 3 týdny analýzou jejich oficiální dokumentace, knihovny promptů a příkladů API. Pouze 2 % uživatelů zná XML-strukturované prompting. Tady jsou všechna tajemství, která jsem získal 👇