Chamath: Yapay zekada dikkat etmeniz gereken iki terim Prefill ve Decode'dur "Önümüzdeki birkaç yıl içinde çok fazla konuşacağın iki terim var." "İlk terim ön doldurma, sonraki deşifre deşifre." "Ön doldurma ve çözme, modellerin nasıl düşündüğünün ve bir modelin ona sorduğunuz bir soruyu yanıtlama sürecinden nasıl geçtiğinin iki çok farklı yoludur." "Ve yani yapay zekaya bir prompt gönderdiğinizde, model bunu işliyor. Buna okuma aşaması veya ön doldurma denir." "Tüm önerini bir anda okuyor. Sonra bir sürü matematik yapıyor, tüm bu kelimeler arasındaki ilişkileri hesaplıyor ve bunları geçici hafızaya saklıyor." "Sorun şu ki, bu gerçekten hesaplama ile bağlı. Bu yüzden büyük bir kaba kuvvet gerektiriyor. Ve Nvidia GPU'ları burada harika." "Ve mimarileri, devasa paralel işleme için tasarlanmış, bu da onları bu uzun istemleri sindirmede gerçekten harika yapıyor." "Yani sorun giderek büyüyor, Nvidia tamamen baskın oluyor." "Ama sonraki aşama, bu kritik aşama, kod çözme aşaması, yazma aşaması, değil mi?" "Yani model bir yanıt üretmeye başlıyor, ona bir soru soruyorsunuz ve cevabı da tek bir token olur." "Ve sonra bir sonraki kelimeyi seçmek için söylediklerine bakması gerekiyor ki halüsinasyon görmesin." "Sorun şu ki, bu durum inanılmaz derecede bellek bant genişliği kısıtlı." "Ve mimarimizde, çok uzun zaman önce, bu tasarım kararlarını ilk günden veriyorduk." "Ve yaptığımız şey, çok farklı bir mimari yaklaşım benimsedik, çok muhafazakar bir süreç teknolojisi benimsedik. Fizik sınırlarını zorlamıyorduk." ...