Święty Boże… ten artykuł może być najważniejszą zmianą w tym, jak używamy LLM-ów w tym roku. "Duże modele przyczynowe z dużych modeli językowych." Pokazuje, że można zbudować pełne modele przyczynowe bezpośrednio z LLM, a nie przybliżenia, nie wibracje, a rzeczywiste grafy przyczynowe, kontrfakty, interwencje i struktury sprawdzane pod kątem ograniczeń. A sposób, w jaki to robią, jest szalony: Zamiast trenować wyspecjalizowany model przyczynowy, przesłuchują LLM jak naukowiec: → wydobywają kandydatów na graf przyczynowy z tekstu → proszą model o sprawdzenie niezależności warunkowych → wykrywają sprzeczności → poprawiają strukturę → testują kontrfakty i przewidywania interwencyjne → iterują, aż model przyczynowy się ustabilizuje Wynik jest czymś, czego nigdy wcześniej nie mieliśmy: system przyczynowy zbudowany wewnątrz LLM, wykorzystujący jego własną latentną wiedzę o świecie. Na różnych benchmarkach syntetycznych, w rzeczywistych, chaotycznych dziedzinach te LCM-y przewyższają klasyczne metody odkrywania przyczyn, ponieważ czerpią z ogromnej wiedzy wstępnej LLM, a nie tylko z lokalnych korelacji. A rozumowanie kontrfaktyczne? Zaskakująco silne. Model potrafi odpowiadać na pytania "co jeśli", na które standardowe algorytmy całkowicie zawodzą, po prostu dlatego, że już "wie" rzeczy o świecie, których te algorytmy nie mogą wywnioskować tylko z danych. Ten artykuł sugeruje przyszłość, w której LLM-y nie są tylko maszynami do rozpoznawania wzorców. Stają się silnikami przyczynowymi, systemami, które tworzą, testują i udoskonalają strukturalne wyjaśnienia rzeczywistości. Jeśli to się rozwinie, każda dziedzina, która opiera się na wnioskowaniu przyczynowym – ekonomia, medycyna, polityka, nauka – zostanie przepisana. LLM-y nie tylko powiedzą ci, co się dzieje. Powiedzą ci, dlaczego.

Ten artykuł DeepMind właśnie cicho zabił najbardziej pocieszające kłamstwo w bezpieczeństwie AI. Pomysł, że bezpieczeństwo dotyczy tego, jak modele zachowują się przez większość czasu, brzmi rozsądnie. Jest też błędny w momencie, gdy systemy się skalują. DeepMind pokazuje, dlaczego średnie przestają mieć znaczenie, gdy wdrożenie osiąga miliony interakcji. Artykuł przekształca bezpieczeństwo AGI w problem rozkładu. To, co ma znaczenie, to nie typowe zachowanie. To ogon. Rzadkie awarie. Przypadki brzegowe. Wydarzenia o niskim prawdopodobieństwie, które wydają się ignorowalne w testach, ale stają się nieuniknione w rzeczywistym świecie. Benchmarki, red-teaming i pokazy wszystkie próbkują środek. Wdrożenie próbuje wszystkiego. Dziwni użytkownicy, dziwne zachęty, wrogie pętle sprzężenia zwrotnego, środowiska, na które nikt nie był przygotowany. W skali te przypadki przestają być rzadkie. Są gwarantowane. Oto niewygodna prawda: postęp może sprawić, że systemy będą wyglądać na bezpieczniejsze, podczas gdy cicho czynią je bardziej niebezpiecznymi. Jeśli zdolności rosną szybciej niż kontrola ogona, widoczne awarie maleją, podczas gdy katastrofalne ryzyko narasta poza ekranem. Dwa modele mogą wyglądać identycznie w średniej, a mimo to różnić się drastycznie w zachowaniu w najgorszym przypadku. Obecne oceny nie mogą dostrzec tej luki. Ramy zarządzania zakładają, że mogą. Nie można certyfikować bezpieczeństwa przy ograniczonych testach, gdy ryzyko tkwi w przesunięciu rozkładu. Nigdy nie testujesz systemu, który faktycznie wdrażasz. Próbkujesz przyszłość, której nie kontrolujesz. To jest prawdziwy puenta. Bezpieczeństwo AGI nie jest atrybutem modelu. To problem systemowy. Kontekst wdrożenia, zachęty, monitorowanie i to, ile ryzyka ogonowego społeczeństwo toleruje, mają większe znaczenie niż czyste średnie. Ten artykuł nie uspokaja. Usuwa iluzję. Pytanie nie brzmi, czy model zazwyczaj zachowuje się dobrze. Chodzi o to, co się dzieje, gdy tak nie jest — i jak często to jest dozwolone, zanim skala uczyni to nieakceptowalnym. Artykuł:

Styl podpowiadania wewnętrznego Anthropic jest zupełnie inny niż to, co większość ludzi uczy. Spędziłem 3 tygodnie na analizowaniu ich oficjalnej dokumentacji, biblioteki podpowiedzi i przykładów API. Tylko 2% użytkowników wie o podpowiadaniu w strukturze XML. Oto wszystkie sekrety, które wydobyłem 👇