Wenn ich a16z, yc oder Sequoia wäre, würde ich aggressiv in Startups investieren, die neuartige Wege entwickeln, um reale Daten zu sammeln und zu annotieren. > Milliarden von Stunden Fahrdaten > Fabrikarbeiter, die mit Geräten und schweren Maschinen interagieren > Audio-Segmentierung mit tiefem dialektalem und kulturellem Verständnis > Wet-Lab-Experimentaldaten > Kontinuierliche Sammlung und Annotation von Agentenspuren im Rechenmaßstab Als wir LLMs gebaut haben, existierten die meisten Daten bereits im Internet. Wir mussten sie nur scrapen, bereinigen und skalieren. Aber während wir uns auf weltweite Fundamentmodelle zubewegen, ist der Engpass qualitativ hochwertige, reale, gut annotierte Daten. Und die Qualität der Annotation ist wichtig. Es gibt einen riesigen Unterschied zwischen: „Apfel an einem Baum“ und „Reife Äpfel an einem Baum. Der Wind weht mit 2 Meilen pro Stunde. Die Temperatur liegt bei etwa 18 °C.“ Die Frage ist einfach. Wie viel von der Welt kannst du tatsächlich erfassen? Heute wissen LLMs, dass Äpfel fallen, weil es Schwerkraft gibt, nicht weil sie Kausalität verstehen, sondern weil sie Sprachkorrelationen extrem gut verstehen. Das Verständnis der kausalen Struktur kommt als Nächstes. Wenn ich auf diese Zukunft hinarbeiten würde, würde ich die Datensammlung in Indien und anderen süd- und südostasiatischen Regionen verankern. Ich würde Hardware bereitstellen, tausende Stunden menschlicher Aktivitätsdaten, Gesundheitsdaten und Vitalzeichen sammeln und kontinuierlich Annotation-Pipelines betreiben. Tag und Nacht. Wenn ich a16z wäre, würde ich Gründer finanzieren, um dies zu tun. Ich könnte einfach den Drang haben, es selbst zu tun.

Die Vorhersage für dieses Jahr ist, dass OpenAI AMD übernehmen wird. Sama spielt 4D-Schach und er gewinnt bereits dabei. AMD braucht OpenAI genauso sehr, wie OpenAI AMD braucht. Es begann, als AMD OpenAI Optionen für 160 Millionen Aktien zu je 0,01 $ pro Aktie ausgab. Die Aktien werden fällig, wenn OpenAI 6 GW AMD-GPUs einsetzt. Wenn die Aktie 600 $ erreicht und OpenAI vollständig ausübt, sind diese Optionen 96 Milliarden $ wert (auch ungefähr der gleiche Wert wie die Hardware in dem Deal selbst). Das unterscheidet sich von der Art und Weise, wie OpenAI seinen Deal mit Nvidia strukturiert hat. Nvidia investierte 100 Milliarden $ in OpenAI, wobei OpenAI sich verpflichtete, mindestens 10 GW Nvidia-Hardware einzusetzen. OpenAI ist der Kunde. Nvidia ist der Investor. OpenAI hat keinen Anteil an Nvidia. Bei AMD ist die Struktur umgekehrt. OpenAI wird zu einem potenziellen Teilhaber mit Einfluss auf die Unternehmensstrategie von AMD. So strukturiert man keine Lieferantenbeziehung. Es ist, wenn man eine Vorstufe zur Übernahme strukturieren möchte. Das Timing ist der Schlüssel. OpenAI hat sich auch gerade von einer Non-Profit-Organisation in ein gewinnorientiertes Unternehmen umgewandelt. Die Umstrukturierung diente nie der Kapitalbeschaffung, Sama kann unbegrenzt Kapital beschaffen. Es ging darum, die komplexen Fusionen und Übernahmen zu ermöglichen, die Non-Profits nicht leicht durchführen können. So sieht es aus: > OpenAI kontrolliert 40 % des globalen DRAM-Angebots durch Samsung/SK Hynix-Deals > OpenAI hat einen 10 % Anteil an AMD > OpenAI entwickelt maßgeschneiderte Chips mit Broadcom > OpenAI baut eigene Inferenzchips mit TSMC > OpenAI hat eine Partnerschaft im Wert von 100 Milliarden $ mit Nvidia Es mag wie eine vertikale Integration erscheinen, aber Sama versucht tatsächlich, den gesamten AI-Compute-Stack horizontal zu erfassen. AMD ist die einzige glaubwürdige Alternative zu Nvidia für Hyperscaling. Sie haben auch ZT Systems übernommen, was ihnen die Herstellung von Rack-Servern ermöglicht. Sie haben wettbewerbsfähige GPUs. Aber sie haben keinen garantierten Nachfrageschwerpunkt. OpenAI bietet das (und potenziell viel mehr). Wenn OpenAI AMD übernimmt, entsteht ein vertikal integriertes AI-Unternehmen, das Modelle entwirft, Chips entwirft und die Speicherlieferung kontrolliert. Eine solche Art von Unternehmen existiert derzeit nicht. Google hat Teile davon mit TPUs und DeepMind, aber TPUs sind nur intern. Eine OpenAI-AMD-Einheit könnte auf dem Markt verkaufen und dabei proprietäre Vorteile wahren. Ich wäre nicht überrascht, wenn Intel hier als wilder Joker auftaucht. Sie haben die inländische Foundry-Kapazität, die weder AMD noch Nvidia besitzen. Sie haben auch die x86-Architektur, die immer noch das Unternehmens-Computing dominiert. Nvidia hat 5 Milliarden $ in Intel investiert, aber ihr Foundry-Geschäft wird von Nvidia nicht für die Chipproduktion genutzt, sie entwickeln nur CPUs gemeinsam. Das lässt eine Lücke. Wenn OpenAI inländische Fab-Kapazität für seine maßgeschneiderten Chips wollte, ist Intels Foundry die einzige amerikanische Option in großem Maßstab. Als Sama sagte, dass er 5-7 Billionen $ benötigt, um AGI zu bauen, rechtfertigt das seinen Ehrgeiz, ein globales Fab-Netzwerk aufzubauen. Sein Timing könnte nicht besser sein mit dem CHIPS-Gesetz. Wenn du das Unternehmen bist, das die Regierung benötigt, um die Unabhängigkeit bei Halbleitern zu erreichen, wirst du anders behandelt. Das Endspiel könnte nicht "OpenAI übernimmt AMD" oder "OpenAI übernimmt Intel" sein. Aber es wird "OpenAI wird die integrierende Schicht, die inländische Chipunternehmen in eine einheitliche AI-Lieferkette einbindet" sein. Dies wird eine neue Art von Einheit sein, die über das koordiniert, was früher separate Industrien waren. Sama versucht, die Modellschicht zu kontrollieren, die Chipschicht zu kontrollieren, die Speicherschicht zu kontrollieren, und bis jemand die gesamte Struktur kartiert, bist du zu integriert, um sie zu entwirren.

Wenn Steve Jobs noch leben würde, würde Apple dies bauen, ein absolut schönes Stück Technik.