Astaga... makalah ini mungkin merupakan perubahan terpenting dalam cara kita menggunakan LLM sepanjang tahun ini. "Model Kausal Besar dari Model Bahasa Besar." Ini menunjukkan Anda dapat menumbuhkan model kausal penuh langsung dari LLM bukan perkiraan, bukan grafik kausal aktual, kontrafaktual, intervensi, dan struktur yang diperiksa kendala. Dan cara mereka melakukannya adalah liar: Alih-alih melatih model kausal khusus, mereka menginterogasi LLM seperti seorang ilmuwan: → mengekstrak grafik kausal kandidat dari teks → meminta model untuk memeriksa independensi bersyarat → mendeteksi kontradiksi → merevisi struktur → menguji kontrafaktual dan prediksi intervensi → mengulangi sampai model kausal stabil Hasilnya adalah sesuatu yang belum pernah kami miliki sebelumnya: sistem kausal yang dibangun di dalam LLM menggunakan pengetahuan dunia latennya sendiri. Di seluruh tolok ukur domain sintetis, dunia nyata, dan berantakan, KPK ini mengalahkan metode penemuan kausal klasik karena mereka menarik dari pengetahuan sebelumnya LLM yang besar, bukan hanya korelasi lokal. Dan penalaran kontrafaktual? Sangat kuat. Model ini dapat menjawab pertanyaan "bagaimana jika" yang benar-benar gagal dilakukan oleh algoritme standar, hanya karena sudah "mengetahui" hal-hal tentang dunia yang tidak dapat disimpulkan oleh algoritme tersebut dari data saja. Makalah ini mengisyaratkan masa depan di mana LLM bukan hanya mesin pola. Mereka menjadi sistem mesin kausal yang membentuk, menguji, dan menyempurnakan penjelasan struktural realitas. Jika ini berskala, setiap bidang yang mengandalkan ekonomi inferensi kausal, kedokteran, kebijakan, sains akan ditulis ulang. LLM tidak hanya akan memberi tahu Anda apa yang terjadi. Mereka akan memberi tahu Anda alasannya.

Makalah DeepMind ini diam-diam membunuh kebohongan paling menghibur dalam keamanan AI. Gagasan bahwa keselamatan adalah tentang bagaimana model berperilaku sebagian besar waktu terdengar masuk akal. Juga salah saat skala sistem. DeepMind menunjukkan mengapa rata-rata berhenti penting ketika penerapan mencapai jutaan interaksi. Makalah tersebut membingkai ulang keamanan AGI sebagai masalah distribusi. Yang penting bukanlah perilaku yang khas. Itu ekornya. Kegagalan langka. Kasus tepi. Peristiwa probabilitas rendah yang terasa diabaikan dalam tes tetapi menjadi tak terelakkan di dunia nyata. Tolok ukur, tim merah, dan demo semuanya mengambil sampel di tengah. Penerapan mengambil sampel semuanya. Pengguna aneh, insentif aneh, loop umpan balik yang tidak bersahabat, lingkungan yang tidak direncanakan oleh siapa pun. Dalam skala besar, kasus-kasus tersebut berhenti menjadi langka. Mereka dijamin. Inilah wawasan yang tidak nyaman: kemajuan dapat membuat sistem terlihat lebih aman sekaligus diam-diam membuatnya lebih berbahaya. Jika kemampuan tumbuh lebih cepat daripada kontrol ekor, kegagalan yang terlihat menurun sementara risiko bencana menumpuk di luar layar. Dua model rata-rata dapat terlihat identik dan masih sangat berbeda dalam perilaku terburuk. Evaluasi saat ini tidak dapat melihat kesenjangan itu. Kerangka kerja tata kelola berasumsi bahwa mereka bisa. Anda tidak dapat mensertifikasi keselamatan dengan pengujian terbatas ketika risiko hidup dalam pergeseran distribusi. Anda tidak pernah menguji sistem yang benar-benar Anda terapkan. Anda mencicipi masa depan yang tidak Anda kendalikan. Itulah punchline yang sebenarnya. Keamanan AGI bukanlah atribut model. Ini adalah masalah sistem. Konteks penyebaran, insentif, pemantauan, dan seberapa besar risiko ekor yang ditoleransi masyarakat semuanya lebih penting daripada rata-rata bersih. Makalah ini tidak meyakinkan. Itu menghilangkan ilusi. Pertanyaannya bukan apakah model biasanya berperilaku baik. Itulah yang terjadi ketika tidak — dan seberapa sering itu diizinkan sebelum skala membuatnya tidak dapat diterima. Kertas:

Gaya dorongan internal Anthropic benar-benar berbeda dari apa yang diajarkan kebanyakan orang. Saya menghabiskan 3 minggu menganalisis dokumentasi resmi mereka, perpustakaan prompt, dan contoh API. Hanya 2% pengguna yang mengetahui tentang prompting terstruktur XML. Inilah setiap rahasia yang saya ekstrak 👇