Si j'étais a16z, yc ou Sequoia, j'investirais agressivement dans des startups qui développent des moyens novateurs de collecter et d'annoter des données du monde réel. > Des milliards d'heures de données de conduite > Des ouvriers d'usine interagissant avec des appareils et des machines lourdes > Segmentation audio avec une compréhension dialectale et culturelle approfondie > Données expérimentales en laboratoire humide > Collecte et annotation continues des traces d'agents à l'échelle informatique Lorsque nous avons construit des LLM, la plupart des données existaient déjà sur Internet. Nous devions juste les extraire, les nettoyer et les mettre à l'échelle. Mais à mesure que nous nous dirigeons vers des modèles de fondation mondiaux, le goulot d'étranglement est constitué de données de haute qualité, du monde réel, bien annotées. Et la qualité de l'annotation compte. Il y a une différence massive entre : "Pomme sur un arbre" et "Pommes mûres sur un arbre. Le vent souffle à 2 miles par heure. La température est d'environ 18°C." La question est simple. Combien du monde pouvez-vous réellement capturer ? Aujourd'hui, les LLM savent que les pommes tombent à cause de la gravité, non pas parce qu'elles comprennent la causalité, mais parce qu'elles comprennent extrêmement bien les corrélations linguistiques. Comprendre la structure causale vient ensuite. Si je construisais vers cet avenir, j'ancrerais la collecte de données en Inde et dans d'autres régions d'Asie du Sud et du Sud-Est. Je déploierais du matériel, collecterais des milliers d'heures de données d'activité humaine, de signaux de santé et de signes vitaux, et ferais fonctionner des pipelines d'annotation en continu. Jour et nuit. Si j'étais a16z, je financerais des fondateurs pour le faire. J'aurais peut-être juste l'envie de le faire moi-même.

La prévision pour cette année est qu'OpenAI va acquérir AMD. Sama joue aux échecs en 4D, et il est déjà en train de gagner. AMD a besoin d'OpenAI autant qu'OpenAI a besoin d'AMD. Tout a commencé lorsque AMD a émis des bons de souscription à OpenAI pour 160 millions d'actions à 0,01 $ par action. Les actions sont acquises au fur et à mesure qu'OpenAI déploie 6GW de GPU AMD. Si l'action atteint 600 $ et qu'OpenAI exerce pleinement, ces bons de souscription valent 96 milliards de dollars (ce qui correspond également à peu près à la même valeur que le matériel dans l'accord lui-même). C'est différent de la manière dont OpenAI a structuré son accord avec Nvidia. Nvidia a investi 100 milliards de dollars dans OpenAI, OpenAI s'engageant à déployer au moins 10 GW de matériel Nvidia. OpenAI est le client. Nvidia est l'investisseur. OpenAI ne détient aucune participation dans Nvidia. Avec AMD, la structure est inversée. OpenAI devient un potentiel copropriétaire avec une influence sur la stratégie d'entreprise d'AMD. Ce n'est pas ainsi que vous structurez une relation fournisseur. C'est lorsque vous souhaitez structurer un précurseur à une acquisition. Le timing est la clé. OpenAI vient également de se convertir d'une organisation à but non lucratif en une entreprise à but lucratif. La restructuration n'était jamais une question de collecte de fonds, Sama peut lever un capital infini. Il s'agissait de permettre les fusions et acquisitions complexes que les organisations à but non lucratif ne peuvent pas réaliser facilement. Voici à quoi cela ressemble : > OpenAI contrôle 40 % de l'approvisionnement mondial en DRAM grâce à des accords avec Samsung/SK Hynix > OpenAI détient une participation de 10 % dans AMD > OpenAI développe des puces personnalisées avec Broadcom > OpenAI construit ses propres puces d'inférence avec TSMC > OpenAI a un partenariat de 100 milliards de dollars avec Nvidia Cela peut sembler être une intégration verticale, mais Sama tente en réalité une capture horizontale de l'ensemble de la pile de calcul AI. AMD est la seule alternative crédible à Nvidia pour l'hyperscaling. Ils ont également acquis ZT systems, leur donnant une capacité de fabrication de serveurs à l'échelle des racks. Ils ont des GPU compétitifs. Mais ils manquent d'un ancrage de demande garanti. OpenAI fournit cela (et potentiellement bien plus). Si OpenAI acquiert AMD, cela crée une entreprise AI intégrée verticalement qui conçoit des modèles, conçoit des puces et contrôle l'approvisionnement en mémoire. Un tel type d'entreprise n'existe actuellement pas. Google a des morceaux de cela avec les TPU et DeepMind, mais les TPU sont uniquement internes. Une entité OpenAI-AMD pourrait vendre sur le marché tout en maintenant des avantages propriétaires. Je ne serais pas surpris si Intel émerge ici comme une carte sauvage. Ils ont la capacité de fonderie domestique que ni AMD ni Nvidia ne possèdent. Ils ont également l'architecture x86, qui domine encore l'informatique d'entreprise. Nvidia a investi 5 milliards de dollars dans Intel, mais leur activité de fonderie n'est pas utilisée par Nvidia pour la fabrication de puces, ils co-développent seulement des CPU. Cela laisse une ouverture. Si OpenAI voulait une capacité de fonderie domestique pour ses puces personnalisées, la fonderie d'Intel est la seule option américaine à grande échelle. Lorsque Sama a dit qu'il avait besoin de 5 à 7 trillions de dollars pour construire l'AGI, cela justifie son ambition de construire un réseau de fonderies mondial. Son timing ne pourrait pas être meilleur avec la loi CHIPS. Si vous êtes l'entreprise dont le gouvernement a besoin pour atteindre l'indépendance en matière de semi-conducteurs, vous bénéficierez d'un traitement différent. Le but final pourrait ne pas être "OpenAI acquiert AMD" ou "OpenAI acquiert Intel." Mais ce sera "OpenAI devient la couche d'intégration qui relie les entreprises de puces domestiques dans une chaîne d'approvisionnement AI unifiée". Cela sera un nouveau type d'entité qui coordonne ce qui était autrefois des industries séparées. Sama essaie de contrôler la couche de modèle, de contrôler la couche de puce, de contrôler la couche de mémoire, et au moment où quelqu'un cartographie la structure complète, vous êtes trop intégré pour être dénoué.

Si Steve Jobs était encore en vie, Apple construirait cela, un morceau de technologie absolument magnifique.