Chamath: Dua istilah yang perlu Anda perhatikan dalam AI adalah Prefill dan Decode "Ada dua istilah yang saya pikir Anda akan mendengar banyak tentang beberapa tahun ke depan ini." "Istilah pertama adalah prefill, dan berikutnya adalah decode." "Apa itu prefill dan decode, adalah dua cara yang sangat berbeda tentang bagaimana model berpikir, dan bagaimana model melalui proses menjawab pertanyaan yang Anda ajukan." "Jadi ketika Anda mengirim prompt ke AI, yang terjadi adalah model memprosesnya. Ini disebut fase membaca atau prefill." "Itu membaca seluruh prompt Anda sekaligus. Dan kemudian ia melakukan banyak matematika, menghitung semua hubungan antara semua kata, dan menyimpannya dalam memori sementara." "Masalahnya adalah bahwa ini benar-benar terikat komputasi. Jadi itu membutuhkan kekerasan besar. Dan GPU Nvidia hancur di sini." "Dan arsitektur mereka dirancang untuk pemrosesan paralel besar-besaran, yang membuat mereka benar-benar luar biasa dalam mencerna petunjuk panjang ini." "Jadi masalahnya semakin besar, Nvidia benar-benar mendominasi." "Tapi fase berikutnya, fase kritis ini, fase dekode, adalah fase penulisan, kan?" "Jadi model mulai menghasilkan tanggapan, Anda mengajukan pertanyaan dan tanggapannya, satu token pada satu waktu." "Dan kemudian untuk memilih token berikutnya untuk memilih kata berikutnya, ia harus melihat kembali semua yang telah dikatakannya agar tidak berhalusinasi." "Masalahnya adalah bahwa ini sangat dibatasi bandwidth memori." "Dan dalam arsitektur kami, sejak lama, kami membuat keputusan desain ini sejak hari pertama." "Jadi apa yang kami lakukan adalah kami mengambil pendekatan arsitektur yang sangat berbeda, kami mengambil teknologi proses yang sangat konservatif. Kami tidak mendorong batas-batas fisika." "Dan kami menggunakan banyak yang disebut SRAM. Jadi memori pada chip sehingga kami dapat melakukan dekode ini dengan baik atau lebih baik dari orang lain." "Jadi sekarang ketika Anda menyatukan dua hal ini, saya hanya berpikir itu akan menciptakan akselerasi besar dalam kemampuan seluruh lapisan infrastruktur ini untuk menjadi jauh lebih murah dan jauh lebih berharga, yang saya duga kemudian akan memiliki lebih banyak daya tarik pengembang, Anda akan mendapatkan lebih banyak aplikasi yang dibangun, miliaran dan miliaran lebih banyak orang yang menggunakannya."

Saya mengolah data. Lagi. Saya membuat peta. Lagi. Gambarnya sekarang bahkan LEBIH BERSIH. Negara bagian tanpa persyaratan ID pemilih 16x lebih mungkin menawarkan tunjangan kesejahteraan kepada imigran ilegal daripada negara bagian yang membutuhkan ID (67% vs 4%, p<0.0001). Demokrat mengimpor dan membayar orang ilegal untuk suara. rincian👇