Voi helvetti... tämä artikkeli saattaa olla tärkein muutos siinä, miten käytämme LLM:iä koko vuonna. "Suuret kausaalimallit suurista kielimalleista." Se osoittaa, että voit kasvattaa kokonaisia kausaalisia malleja suoraan LLM:stä, ei approksimaatioista, ei fiilikoista, todellisista kausaalisista graamuista, vastafaktuuksista, interventioista ja rajoittetuista rakenteista. Ja tapa, jolla he sen tekevät, on villi: Sen sijaan, että kouluttaisivat erikoistunutta kausaalista mallia, he kyseenalaistavat LLM:ää kuin tiedemies: → poimia ehdokaskausaalinen graafi tekstistä → pyytää mallia tarkistamaan ehdolliset riippumattomuudet → havaitsevat ristiriitoja → uudistaa rakennetta → testaa vastafaktuuksia ja interventioennusteita → toistaa, kunnes kausaalinen malli vakautuu Tulos on jotain, mitä emme ole koskaan ennen kokeneet: kausaalinen järjestelmä, joka on rakennettu LLM:n sisällä käyttäen omaa piilevää maailmantietämystä. Vertailuarvojen välillä synteettisissä, todellisessa maailmassa, sotkuisilla alueilla nämä LCM:t päihittävät klassiset kausaalisen löytämisen menetelmät, koska ne hyödyntävät LLM:n valtavaa aiempaa tietämystä pelkkien paikallisten korrelaatioiden sijaan. Entä vastakkainen perustelu? Yllättävän vahva. Malli voi vastata "entä jos" -kysymyksiin, joissa standardialgoritmit epäonnistuvat täysin, yksinkertaisesti siksi, että se jo "tietää" asioita maailmasta, joita algoritmit eivät pysty päättelemään pelkästään datasta. Tämä artikkeli vihjaa tulevaisuudesta, jossa LLM:t eivät ole pelkkiä mallikoneita. Niistä tulee kausaalisia moottoreita, järjestelmiä, jotka muodostavat, testaavat ja tarkentavat rakenteellisia selityksiä todellisuudesta. Jos tämä skaalautuu, jokainen kausaaliseen päättelyyn perustuva ala – taloustiede, lääketiede, politiikka ja tiede – kirjoitetaan uudelleen. LLM:t eivät vain kerro, mitä tapahtuu. He kertovat miksi.

Tämä DeepMind-artikkeli tappoi hiljaa lohduttavimman valheen tekoälyn turvallisuudesta. Ajatus siitä, että turvallisuus perustuu siihen, miten mallit käyttäytyvät useimmiten, kuulostaa järkevältä. Se on myös väärin sillä hetkellä, kun järjestelmät skaalautuvat. DeepMind osoittaa, miksi keskiarvot lakkaavat merkitsemästä, kun käyttöönotto saavuttaa miljoonia vuorovaikutuksia. Artikkeli määrittelee AGI-turvallisuuden uudelleen jakeluongelmana. Tärkeintä ei ole tyypillinen käytös. Se on häntä. Harvinaisia epäonnistumisia. Reunatapaukset. Matalan todennäköisyyden tapahtumat, jotka tuntuvat testeissä sivuuttavilta, mutta jotka muuttuvat väistämättömiksi todellisessa maailmassa. Vertailukokeet, punainen joukkue ja demot ottavat kaikki esiin keskikohtaa. Käyttöönotto näytteitä kaikesta. Outoja käyttäjiä, outoja kannustimia, vihamielisiä palautesilmukoita, ympäristöjä, joihin kukaan ei ollut suunnitellut. Laajassa mittakaavassa nämä tapaukset eivät enää ole harvinaisia. Ne ovat taattuja. Tässä on epämiellyttävä oivallus: edistys voi saada järjestelmät näyttämään turvallisemmilta samalla kun hiljaa tekee niistä vaarallisempia. Jos kyvykkyys kasvaa nopeammin kuin hännän ohjaus, näkyvät viat vähenevät samalla kun katastrofaalinen riski kasaantuu ruudun ulkopuolella. Kaksi mallia voi näyttää keskimäärin identtisiltä ja silti eroaa pahasti pahimmassa tapauksessa käyttäytymisessä. Nykyiset arvioinnit eivät näe tätä aukkoa. Hallintokehykset olettavat, että voivat. Et voi sertifioida turvallisuutta rajallisilla testeillä, kun jakelun riskielämät muuttuvat. Et koskaan testaa järjestelmää, jonka oikeasti otat käyttöön. Näytät tulevaisuudesta, jota et hallitse. Se on todellinen vitsi. AGI-turvallisuus ei ole malliominaisuus. Kyse on järjestelmäongelmasta. Käyttöönoton konteksti, kannustimet, seuranta ja se, kuinka paljon hännän riskiä yhteiskunta sietää, ovat kaikki tärkeämpiä kuin puhtaat keskiarvot. Tämä artikkeli ei rauhoittele. Se poistaa illuusion. Kysymys ei ole siitä, käyttäytyykö malli yleensä hyvin. Kyse on siitä, mitä tapahtuu, kun se ei tapahdu — ja kuinka usein se sallitaan ennen kuin mittakaava tekee siitä hyväksymätöntä. Artikkeli:

Anthropicin sisäinen kehotustyyli on täysin erilainen kuin mitä useimmat opettavat. Käytin kolme viikkoa analysoiden heidän virallista dokumentaatiotaan, kehotteiden kirjastoa ja API-esimerkkejä. Vain 2 % käyttäjistä tietää XML-rakenteellisesta kehotuksesta. Tässä on kaikki salaisuudet, jotka otin 👇 esiin