Om jag vore a16z, yc eller sequoia, skulle jag satsa på att satsa aktivt på startups som bygger nya sätt att samla in och annotera verklig data. > Miljarder timmars kördata > Fabriksarbetare som interagerar med apparater och tunga maskiner > Ljudsegmentering med djup dialektisk och kulturell förståelse > Våtlabbexperimentella data > Kontinuerlig insamling och annotering av agentspår i beräkningsskala När vi byggde LLM:er fanns det mesta av datan redan på internet. Vi behövde bara skrapa, rengöra och skala. Men när vi närmar oss världsbasismodeller är flaskhalsen högkvalitativ, verklig och välkommenterad data. Och annoteringskvaliteten spelar roll. Det är en enorm skillnad mellan: "Äpple på ett träd" och "Mogna äpplen på ett träd. Vinden blåser i 3 kilometer i timmen. Temperaturen är runt 18°C. ” Frågan är enkel. Hur mycket av världen kan du faktiskt fånga? Idag vet LLM:er att äpplen faller på grund av gravitationen, inte för att de förstår kausalitet, utan för att de förstår språkkorrelationer extremt väl. Att förstå den kausala strukturen kommer därefter. Om jag skulle bygga mot den framtiden skulle jag ankra datasamlingen i Indien och andra syd- och sydostasiatiska regioner. Jag skulle distribuera hårdvara, samla in tusentals timmar av data om mänsklig aktivitet, hälsosignaler och vitalparametrar, och köra annoteringspipelines kontinuerligt. Dag och natt. Om jag vore A16z skulle jag finansiera grundare för att göra detta. Jag kanske bara får lust att göra det själv.

Prognosen för i år är att OpenAI kommer att förvärva AMD. Sama spelar 4D-schack, och han vinner redan på det. AMD behöver OpenAI lika mycket som OpenAI behöver AMD. Det började när AMD utfärdade OpenAI-warrants för 160 miljoner aktier till 0,01 dollar per aktie. Aktierna investeras när OpenAI distribuerar 6 GW AMD-GPU:er. Om aktien når 600 dollar och OpenAI utnyttjar allt sitt värde, är dessa warrants värda 96 miljarder dollar (också ungefär samma värde som hårdvaran i affären). Detta skiljer sig från hur OpenAI strukturerade sitt avtal med Nvidia. Nvidia investerade 100 miljarder dollar i OpenAI, där OpenAI åtagit sig att distribuera minst 10 GW Nvidia-hårdvara. OpenAI är kunden. Nvidia är investeraren. OpenAI har inget intresse i Nvidia. Med AMD är strukturen omvänd. OpenAI blir en potentiell delägare med inflytande över AMD:s företagsstrategi. Det är inte så man strukturerar en leverantörsrelation. Det är när du vill strukturera en förberedelse för förvärv. Tidpunkten är nyckeln. OpenAI har också precis konverterat från en ideell organisation till ett vinstdrivande företag. Omstruktureringen handlade aldrig om insamling, Sama kan samla in oändligt med kapital. Det handlade om att möjliggöra komplexa fusioner och förvärv som ideella organisationer inte kan göra så lätt. Så här ser det ut: > kontrollerar OpenAI 40 % av den globala DRAM-leveransen genom Samsung/SK Hynix-avtal > OpenAI har 10 % av aktierna i AMD > utvecklar OpenAI specialanpassade chip tillsammans med Broadcom > bygger OpenAI sina egna inferenschip med TSMC > OpenAI har ett partnerskap på 100 miljarder dollar med Nvidia Det kan verka som en vertikal integration, men Sama försöker faktiskt göra en horisontell fångst av hela AI-beräkningsstacken. AMD är det enda trovärdiga alternativet till Nvidia för hyperskalning. De förvärvade också ZT-system och gav dem rackbaserad servertillverkning. De har konkurrenskraftiga GPU:er. Men de saknar ett garanterat efterfrågankare. OpenAI erbjuder det (och potentiellt mycket mer). Om OpenAI förvärvar AMD skapar detta ett vertikalt integrerat AI-företag som designar modeller, designar chip och kontrollerar minnesförsörjningen. Ett sådant företag finns inte idag. Google har delar av dessa med TPU:er och DeepMind, men TPU:er är endast interna. En OpenAI-AMD-enhet skulle kunna sälja till marknaden samtidigt som de behåller proprietära fördelar. Jag skulle inte bli förvånad om Intel här framstår som ett vildare kort. De har den inhemska foundrykapacitet som varken AMD eller Nvidia har. De har också x86-arkitektur, som fortfarande dominerar företagsdatabehandling. Nvidia har investerat 5 miljarder dollar i Intel, men deras foundryverksamhet används inte av Nvidia för chiptillverkning, de samutvecklar bara CPU:er. Det lämnar en öppning. Om OpenAI ville ha inhemsk fabrikskapacitet för sina specialanpassade chip, är Intels Foundry det enda amerikanska alternativet i stor skala. När Sama sa att han behövde 5–7 biljoner dollar för att bygga AGI, rättfärdigar detta hans ambition att bygga ett globalt fabriksnätverk. Hans timing kunde inte vara bättre med CHIPS Act. Om du är det företag som regeringen behöver för att uppnå halvledaroberoende kommer du att få olika behandlingar. Slutmålet kanske inte är "OpenAI förvärvar AMD" eller "OpenAI förvärvar Intel." Men det kommer att vara "OpenAI blir det integrerande lagret som binder samman inhemska chipföretag i en enhetlig AI-leveranskedja". Detta kommer att vara en ny typ av enhet som koordinerar över vad som tidigare var separata branscher. Sama försöker kontrollera modelllagret, kontrollera chiplagret, kontrollera minneslagret, och när någon väl mappar hela strukturen är du för integrerad för att kunna koppla av.

Om Steve Jobs fortfarande levde skulle Apple bygga detta, en helt fantastisk teknik.