Peluncuran Extropic hari ini menimbulkan beberapa bendera merah baru. Saya mulai mengikuti perusahaan ini ketika mereka menolak untuk menjelaskan spesifikasi input/output dari apa yang mereka bangun, membuat kami menunggu untuk mendapatkan klarifikasi.) Berikut adalah 3 tanda bahaya mulai hari ini: 1. Dari "AI Generatif adalah Pengambilan Sampel. Semua algoritme AI generatif pada dasarnya adalah prosedur untuk pengambilan sampel dari distribusi probabilitas. Melatih model AI generatif sesuai dengan menyimpulkan distribusi probabilitas yang mendasari beberapa data pelatihan, dan inferensi berjalan sesuai dengan menghasilkan sampel dari distribusi yang dipelajari. Karena sampel TSU, mereka dapat menjalankan algoritme AI generatif secara asli." Ini adalah klaim yang sangat menyesatkan tentang algoritme yang menggerakkan AI modern yang paling berguna, pada tingkat gaslighting yang sama dengan menyebut otak manusia sebagai komputer termodinamika. IIUC, sejauh yang diketahui siapa pun, sebagian besar pekerjaan komputasi AI tidak cocok dengan jenis input/output yang dapat Anda masukkan ke dalam chip Extropic. Halaman itu mengatakan: "Tantangan berikutnya adalah mencari tahu bagaimana menggabungkan primitif ini dengan cara yang memungkinkan kemampuan ditingkatkan menjadi sesuatu yang sebanding dengan LLM saat ini. Untuk melakukan ini, kita perlu membangun TSU yang sangat besar, dan menemukan algoritme baru yang dapat mengkonsumsi sejumlah sumber daya komputasi probabilistik secara sewenang-wenang." Apakah Anda benar-benar perlu membangun TSU besar untuk meneliti apakah mungkin aplikasi mirip LLM mendapatkan manfaat dari perangkat keras ini? Saya akan berpikir akan layak menghabiskan beberapa $million untuk menyelidiki pertanyaan itu melalui kombinasi teori dan perangkat keras superkomputasi cloud modern, alih-alih menghabiskan lebih dari $30 juta untuk membangun perangkat keras yang mungkin menjadi jembatan ke mana-mana. Dokumentasi mereka sendiri untuk THRML mereka (perpustakaan sumber terbuka mereka) mengatakan: "THRML menyediakan alat yang dipercepat GPU untuk pengambilan sampel blok pada grafik yang jarang dan heterogen, menjadikannya tempat alami untuk membuat prototipe hari ini dan bereksperimen dengan perangkat keras Extropic di masa depan." Anda mengatakan bahwa Anda tidak memiliki cara primitif perangkat keras Anda dapat *pada prinsipnya* diterapkan pada semacam aplikasi yang berguna, dan Anda membuat perpustakaan ini untuk membantu melakukan penelitian semacam itu menggunakan GPU saat ini... Mengapa Anda tidak merilis perpustakaan Python lebih awal (THRML), melakukan penelitian kemacetan yang Anda katakan perlu dilakukan lebih awal, dan melibatkan komunitas untuk membantu Anda mendapatkan jawaban atas pertanyaan kunci ini sekarang? Mengapa Anda menunggu selama ini untuk pertama kali meluncurkan prototipe perangkat keras skala kecil yang sangat khusus ini untuk maju menjelaskan kemacetan make-or-break ini, dan hanya mempublikasikan pencarian Anda untuk mitra potensial yang memiliki semacam "beban kerja probabilistik" yang relevan sekarang, ketika biaya untuk tidak melakukannya adalah $ 30 juta dan 18 bulan? 2. Dari "Kami mengembangkan model arsitektur TSU kami dan menggunakannya untuk memperkirakan berapa banyak energi yang diperlukan untuk menjalankan proses denoising yang ditunjukkan dalam animasi di atas. Apa yang kami temukan adalah bahwa DTM yang berjalan pada TSU bisa sekitar 10.000x lebih hemat energi daripada algoritme pembuatan gambar standar pada GPU." Saya sudah melihat orang-orang di Twitter menggembar-gemborkan klaim 10.000x. Tetapi bagi siapa pun yang mengikuti saga selama beberapa dekade perusahaan komputasi kuantum yang mengklaim mencapai "supremasi kuantum" dengan jenis angka hype serupa, Anda tahu betapa berhati-hatinya perlu dilakukan untuk menentukan tolok ukur semacam itu. Dalam praktiknya, cenderung sangat sulit untuk menunjuk pada situasi di mana pendekatan komputasi klasik *tidak* jauh lebih cepat daripada pendekatan "komputasi termodinamika 10.000x lebih cepat" yang diklaim. Tim Extropic mengetahui hal ini, tetapi memilih untuk tidak menguraikan jenis kondisi yang dapat mereproduksi tolok ukur hype yang ingin mereka lihat menjadi viral. 3. Terminologi yang mereka gunakan telah dialihkan ke "komputer probabilistik": "Kami merancang komputer probabilistik pertama yang dapat diskalakan di dunia." Sampai hari ini, mereka menggunakan "komputer termodinamika" sebagai istilah mereka, dan mengklaim secara tertulis bahwa "otak adalah komputer termodinamika". Seseorang bisa memberi mereka manfaat dari keraguan untuk memutar terminologi mereka. Hanya saja mereka selalu berbicara omong kosong tentang otak sebagai "komputer termodinamika" (dalam pandangan saya, otak bukanlah itu atau "komputer kuantum"; ini adalah algoritma jaringan saraf yang berjalan pada arsitektur komputer klasik). Dan poros terminologi yang tiba-tiba ini konsisten dengan mereka yang berbicara omong kosong di bidang itu. Sekarang untuk hal-hal positifnya: * Beberapa perangkat keras benar-benar dibangun! * Mereka menjelaskan bagaimana input/outputnya berpotensi memiliki aplikasi dalam denoising, meskipun seperti yang disebutkan, tidak jelas tentang rincian "supremasi termodinamika 10.000x" yang mereka capai di depan ini. Keseluruhan: Ini adalah tentang apa yang saya harapkan ketika saya pertama kali mulai meminta output input 18 bulan yang lalu. Mereka memiliki ide yang benar-benar keren untuk sepotong perangkat keras, tetapi tidak memiliki rencana untuk membuatnya berguna, tetapi memiliki beberapa awal yang samar dari beberapa penelitian teoretis yang memiliki kesempatan untuk membuatnya berguna. Mereka tampaknya telah membuat kemajuan yang terhormat untuk mendapatkan perangkat keras ke dalam produksi (jumlah yang dibeli $ 30 juta kepada Anda), dan tampaknya lebih sedikit kemajuan menemukan alasan mengapa perangkat keras khusus ini, bahkan setelah 10 generasi penyempurnaan penerus, akan berguna bagi siapa saja. Ke depannya, alih-alih menanggapi pertanyaan tentang input/output perangkat Anda dengan "memogging" orang dan mengatakan itu adalah rahasia perusahaan, dan men-tweet hiperstisi tentang dewa termodinamika Anda, saya sarankan untuk lebih terbuka tentang pertanyaan hidup atau mati yang tampaknya raksasa yang mungkin benar-benar tertarik untuk membantu Anda menjawab: apakah seseorang dapat menulis program Python di simulator Anda dengan bukti yang lebih kuat bahwa semacam "supremasi termodinamika" yang berguna dengan Anda konsep perangkat keras bisa menjadi sesuatu.

Saya kira beberapa orang lain juga akan melakukan kesalahan karakterisasi yang sama seperti Anda, jadi saya akan mengklarifikasi: Ini bukan langkah 1 di jalur menuju langkah 10 yang berguna. Ini membajak ke depan secara agresif pada perangkat keras tanpa cerita teoretis yang koheren, yang mereka akui. Tidak apa-apa, tidak biasa didanai dengan sangat baik. Ada banyak proyek penelitian di universitas dengan anggaran terbatas yang memiliki cerita yang lebih koheren tentang apa yang perlu dibangun dan mengapa.

@NGDPAB 2. Saya melihat setengah halaman di sini, tetapi maksud saya adalah, membuktikan percepatan dalam skala kecil tidak bernilai banyak. Kita semua tahu ini.

Re: Bendera merah #2, hype "10.000x" yang menyesatkan:

Seperti yang saya katakan, hambatan kesuksesan Extropic adalah harapan bahwa seseorang akan keluar dari kayu dengan aplikasi yang berguna dari ide jangka panjang mereka. Tidak disarankan untuk membakar $30 juta+ terlebih dahulu ketika Salam Maria yang sama ini bisa dibuat terlebih dahulu.