Geçen hafta Dwarkesh'e gelmekten mutluluk duydum, soruların ve sohbetin gerçekten iyi olduğunu düşündüm. Az önce kapsülü de tekrar izledim. Her şeyden önce, evet biliyorum ve :) bu kadar hızlı konuştuğum için üzgünüm. Bu benim zararıma çünkü bazen konuşma dizim düşünme dizimi geride bırakıyor, bu yüzden sanırım bu yüzden birkaç açıklamayı kaçırdım ve bazen de bir teğet üzerinde çok fazla veya nispeten sahte bir şeyin çok derinlerine indiğim için gergindim. Her neyse, birkaç not/işaretçi: AGI zaman çizelgeleri. YGZ zaman çizelgeleri hakkındaki yorumlarım, erken tepkinin en trend kısmı gibi görünüyor. Bu, "ajanların on yılı", bu önceki tweet'e bir göndermedir Temel olarak yapay zeka zaman çizelgelerim, mahallenizdeki SF AI ev partisinde veya twitter zaman çizelgenizde bulacağınız şeylerle yaklaşık 5-10 kat karamsar, ancak yine de yükselen bir yapay zeka inkarcıları ve şüphecileri dalgasıyla oldukça iyimser. Görünen çatışma şu değil: aynı anda 1) son yıllarda LLM'lerde büyük miktarda ilerleme gördük, 2) hala çok iş var (homurdanma işi, entegrasyon çalışması, fiziksel dünyaya sensörler ve aktüatörler, toplumsal çalışma, emniyet ve güvenlik çalışmaları (jailbreak, zehirlenme vb.)) ve ayrıca keyfi bir iş için bir kişi yerine işe almayı tercih edeceğiniz bir varlığa sahip olmadan önce yapılması gereken araştırmalar dünya. Genel olarak, 10 yılın AGI için çok yükselişli bir zaman çizelgesi olması gerektiğini düşünüyorum, sadece mevcut yutturmacanın aksine, böyle hissettirmiyor. Hayvanlar Hayaletlere Karşı. Sutton'ın podcast'i hakkındaki önceki yazım. Dünyada serbest bırakabileceğiniz tek bir basit algoritma olduğundan ve her şeyi sıfırdan öğrendiğinden şüpheleniyorum. Birisi böyle bir şey inşa ederse yanılırım ve bu yapay zekadaki en inanılmaz atılım olur. Bana göre, hayvanlar bunun bir örneği değil - evrim tarafından bir ton zeka ile önceden paketlenmişler ve yaptıkları öğrenme genel olarak oldukça az (örnek: Zebra doğumda). Mühendislik şapkalarımızı takarak evrimi yeniden yapmayacağız. Ancak LLM'lerde, bir sinir ağında bir ton zekayı "önceden paketlemek" için alternatif bir yaklaşımla karşılaştık - evrimle değil, internet üzerinden bir sonraki belirteci tahmin ederek. Bu yaklaşım, istihbarat alanında farklı türde bir varlığa yol açar. Hayvanlardan farklı, daha çok hayaletler veya ruhlar gibi. Ancak onları zamanla daha hayvani hale getirebiliriz (ve yapmalıyız) ve bazı açılardan birçok sınır çalışmasının konusu budur. RL'de. RL'yi zaten birkaç kez eleştirdim, örn. . İlk olarak, "denetimi pipetle emiyorsunuz", bu yüzden sinyalin/başarısızlığın çok kötü olduğunu düşünüyorum. RL ayrıca çok gürültülüdür çünkü bir tamamlamada cesaret alabilecek birçok hata olabilir (eğer doğru cevaba rastlarsanız) ve tersine, cesaretiniz kırılabilecek (daha sonra hata yaparsanız) parlak içgörü belirteçleri olabilir. Süreç denetimi ve LLM hakimlerinin de sorunları var. Alternatif öğrenme paradigmaları göreceğimizi düşünüyorum. Ben uzun "ajan etkileşimi" ama kısa "pekiştirmeli öğrenme" Son zamanlarda, "sistem istemli öğrenme" dediğim şey doğrultusunda doğru ağaca havlayan bir dizi makalenin ortaya çıktığını gördüm, ancak genel bir şekilde çalışan bir LLM sınır laboratuvarında arxiv ve gerçek, ölçekli uygulama fikirleri arasında da bir boşluk olduğunu düşünüyorum. Genel olarak, kalan işin bu boyutunda çok yakında iyi bir ilerleme göreceğimiz konusunda oldukça iyimserim ve örneğin, ChatGPT belleği ve benzerlerinin yeni öğrenme paradigmalarının ilkel konuşlandırılmış örnekleri olduğunu bile söyleyebilirim. Bilişsel çekirdek. "Bilişsel çekirdek" hakkındaki önceki yazım: , LLM'leri ortadan kaldırma, ezberlemelerini zorlaştırma veya genellemede daha iyi olmalarını sağlamak için hafızalarını aktif olarak silme fikri. Aksi takdirde ezberlediklerine çok fazla yaslanırlar. İnsanlar bu kadar kolay ezberleyemezler, bu da artık bir hatadan çok bir özellik gibi görünüyor. Belki de ezberleyememek bir tür düzenlileştirmedir. Ayrıca bir süre önce model boyutundaki eğilimin nasıl "geriye doğru" olduğu ve neden "modellerin küçülmeden önce büyümesi gerektiği" hakkındaki yazım Yann LeCun'a zaman yolculuğu 1989. Bu, bölmede anlatmak için çok aceleci/kötü bir iş çıkardığım gönderi: . Temel olarak - 33 yıllık algoritmik ilerlemenin bilgisiyle Yann LeCun'un sonuçlarını ne kadar iyileştirebilirsiniz? Sonuçlar her bir algoritma, veri ve hesaplama tarafından ne kadar kısıtlandı? Oradaki vaka çalışması. nanochat. ChatGPT eğitim/çıkarım hattının uçtan uca uygulaması (temel unsurlar) LLM temsilcileri hakkında. Sektöre yönelik eleştirim daha çok takımlamanın mevcut kapasitesini aşmakla ilgili. LLM'lerle işbirliği yapmak istediğim ve artılarımızın/eksilerimizin eşleştiği bir ara dünya olarak gördüğüm bir dünyada yaşıyorum. Sektör, tamamen özerk varlıkların tüm kodu yazmak için paralel olarak işbirliği yaptığı ve insanların işe yaramaz olduğu bir gelecekte yaşıyor. Örneğin, 20 dakika boyunca kapanan ve 1.000 satır kodla geri gelen bir Agent istemiyorum. Kesinlikle 10 kişilik bir ekibi denetlemeye hazır hissetmiyorum. Kafamda tutabileceğim parçalar halinde gitmek istiyorum, burada bir LLM yazdığı kodu açıklıyor. Yaptığının doğru olduğunu bana kanıtlamasını istiyorum, API belgelerini çekmesini ve bana her şeyi doğru kullandığını göstermesini istiyorum. Daha az varsayımda bulunmasını ve bir şeyden emin olmadığımda bana sormasını/işbirliği yapmasını istiyorum. Yol boyunca öğrenmek ve bir programcı olarak daha iyi olmak istiyorum, sadece işe yaradığı söylenen dağlar kadar kod almak değil. Araçların yetenekleri ve günümüz sektörüne nasıl uydukları konusunda daha gerçekçi olması gerektiğini düşünüyorum ve korkarım ki bu iyi yapılmazsa, yazılımlarda dağlar kadar slop birikebilir ve güvenlik açıklarında, güvenlik ihlallerinde vb. bir artışla karşılaşabiliriz. İş otomasyonu. Radyologlar nasıl harika gidiyor ve hangi işler otomasyona daha duyarlı ve neden? Fizik. Çocuklar fiziği erken eğitimde fizik öğrenmeye devam ettikleri için değil, beyni en iyi çalıştıran konu olduğu için öğrenmelidir. Fizikçiler entelektüel embriyonik kök hücredir ~ yıldır taslaklarımda yarısı yazılmış daha uzun bir yazım var ve yakında bitirmeyi umuyorum. Beni kabul ettiğin için tekrar teşekkürler Cüceler!