Jika saya a16z, yc, atau sequoia, saya akan secara agresif berinvestasi di startup yang membangun cara baru untuk mengumpulkan dan menganotasi data dunia nyata. > Miliaran jam data mengemudi > Pekerja pabrik yang berinteraksi dengan peralatan dan alat berat > Segmentasi audio dengan pemahaman dialektis dan budaya yang mendalam > Data eksperimental laboratorium basah > Pengumpulan dan anotasi jejak agen secara berkelanjutan pada skala komputasi Ketika kami membangun LLM, sebagian besar data sudah ada di internet. Kami hanya perlu mengikis, membersihkan, dan menskalakan. Tetapi saat kita bergerak menuju model fondasi dunia, kemacetan adalah data berkualitas tinggi, dunia nyata, dan beranotasi dengan baik. Dan kualitas anotasi itu penting. Ada perbedaan besar antara: "Apel di atas pohon" dan "Apel matang di pohon. Angin bertiup dengan kecepatan 2 mil per jam. Suhunya sekitar 18°C. ” Pertanyaannya sederhana. Berapa banyak dunia yang benar-benar dapat Anda tangkap? Saat ini, LLM tahu bahwa apel jatuh karena gravitasi, bukan karena mereka memahami kausalitas, tetapi karena mereka memahami korelasi bahasa dengan sangat baik. Memahami struktur kausal datang selanjutnya. Jika saya membangun menuju masa depan itu, saya akan menambatkan pengumpulan data di India dan kawasan Asia Selatan dan Tenggara lainnya. Saya akan menyebarkan perangkat keras, mengumpulkan ribuan jam data aktivitas manusia, sinyal kesehatan, dan vital, dan menjalankan alur anotasi secara terus menerus. Siang dan malam. Jika saya a16z, saya akan mendanai para pendiri untuk melakukan ini. Saya mungkin hanya memiliki keinginan untuk melakukannya sendiri.

Prediksi untuk tahun ini adalah OpenAI akan mengakuisisi AMD. Sama sedang bermain catur 4D, dan dia sudah menang di sana. AMD membutuhkan OpenAI sama seperti OpenAI membutuhkan AMD. Itu dimulai ketika AMD menerbitkan waran OpenAI untuk 160 juta saham dengan harga $0,01 per saham. Saham tersebut dibeli saat OpenAI menyebarkan 6GW GPU AMD. Jika saham mencapai $600 dan OpenAI beroperasi sepenuhnya, waran tersebut bernilai $96 miliar (juga kira-kira nilai yang sama dengan perangkat keras dalam kesepakatan itu sendiri). Ini berbeda dari bagaimana OpenAI menyusun kesepakatannya dengan Nvidia. Nvidia menginvestasikan $100 miliar di OpenAI, dengan OpenAI berkomitmen untuk menyebarkan setidaknya 10 GW perangkat keras Nvidia. OpenAI adalah pelanggan. Nvidia adalah investornya. OpenAI tidak memegang saham di Nvidia. Dengan AMD, strukturnya terbalik. OpenAI menjadi pemilik bagian potensial dengan pengaruh atas strategi perusahaan AMD. Itu bukan cara Anda menyusun hubungan vendor. Saat itulah Anda ingin menyusun prekursor akuisisi. Waktu adalah kuncinya. OpenAI juga baru saja beralih dari perusahaan nirlaba menjadi perusahaan nirlaba. Restrukturisasi tidak pernah tentang penggalangan dana, Sama dapat mengumpulkan modal tak terbatas. Ini tentang memungkinkan M&A kompleks yang tidak dapat dilakukan oleh organisasi nirlaba dengan mudah. Seperti inilah tampilannya: > OpenAI mengontrol 40% pasokan DRAM global melalui kesepakatan Samsung/SK Hynix > OpenAI memiliki 10% saham di AMD > OpenAI sedang mengembangkan chip khusus dengan Broadcom > OpenAI sedang membangun chip inferensinya sendiri dengan TSMC > OpenAI memiliki kemitraan senilai $100 miliar dengan Nvidia Ini mungkin tampak seperti integrasi vertikal, tetapi Sama sebenarnya mencoba menangkap horizontal dari seluruh tumpukan komputasi AI. AMD adalah satu-satunya alternatif yang kredibel untuk Nvidia untuk hyperscaling. Mereka juga mengakuisisi sistem ZT, memberi mereka manufaktur server skala rak. Mereka memiliki GPU yang kompetitif. Tetapi mereka tidak memiliki jangkar permintaan yang terjamin. OpenAI menyediakan itu (dan berpotensi lebih banyak lagi). Jika OpenAI mengakuisisi AMD, ini menciptakan perusahaan AI terintegrasi secara vertikal yang merancang model, merancang chip, dan mengontrol pasokan memori. Perusahaan semacam itu tidak ada saat ini. Google memiliki bagian dari ini dengan TPU dan DeepMind, tetapi TPU hanya internal. Entitas OpenAI-AMD dapat menjual ke pasar sambil mempertahankan keunggulan kepemilikan. Saya tidak akan terkejut jika Intel muncul di sini sebagai kartu liar. Mereka memiliki kapasitas pengecoran domestik yang tidak dimiliki AMD atau Nvidia. Mereka juga memiliki arsitektur x86, yang masih mendominasi komputasi perusahaan. Nvidia telah menginvestasikan $5 miliar di Intel, tetapi bisnis pengecoran mereka tidak digunakan oleh Nvidia untuk pembuatan chip, mereka hanya mengembangkan CPU bersama. Itu meninggalkan celah. Jika OpenAI menginginkan kapasitas pabrikan domestik untuk chip khususnya, Intel's Foundry adalah satu-satunya opsi Amerika dalam skala besar. Ketika Sama mengatakan bahwa dia membutuhkan $ 5-7 triliun untuk membangun AGI, ini membenarkan ambisinya untuk membangun jaringan pabrik global. Waktunya tidak bisa lebih baik dengan Undang-Undang CHIPS. Jika Anda adalah perusahaan yang dibutuhkan pemerintah untuk mencapai kemandirian semikonduktor, Anda akan mendapatkan perlakuan yang berbeda. Permainan akhirnya mungkin bukan "OpenAI mengakuisisi AMD" atau "OpenAI mengakuisisi Intel." Tapi itu akan menjadi "OpenAI menjadi lapisan integrasi yang mengikat perusahaan chip domestik ke dalam rantai pasokan AI terpadu". Ini akan menjadi jenis entitas baru yang berkoordinasi di seluruh industri yang dulunya terpisah. Sama mencoba mengontrol lapisan model, mengontrol lapisan chip, mengontrol lapisan memori, dan pada saat ada orang yang memetakan struktur penuh, Anda terlalu terintegrasi untuk bersantai.

Jika Steve Jobs masih hidup, Apple akan membangun ini, teknologi yang benar-benar indah.