もし私がa16z、yc、またはsequoiaなら、実世界のデータ収集と注釈を新しく開発しているスタートアップに積極的に投資するでしょう。 > 数十億時間の運転データ > 工場労働者が家電や重機と接触する様子 > 深い弁証法的かつ文化的理解を伴う音声セグメンテーション > ウェットラボ実験データ > 計算スケールでのエージェントトレースの連続収集および注釈付け 私たちがLLMを構築した当時、ほとんどのデータはすでにインターネット上に存在していました。私たちはただ削って掃除して、スケールするだけでした。しかし、世界的な基礎モデルに近づくにつれて、ボトルネックは高品質で実世界でよく注釈されたデータです。 そして注釈の質も重要です。以下には大きな違いがあります: 「木の上のリンゴ」 そして 「木の熟したリンゴ。風は時速2マイルで吹いています。気温は約18°Cです。” 質問はシンプルです。実際に世界のどれだけを捉えられるのでしょうか? 今日、LLMはリンゴが重力によって落ちることを知っていますが、それは因果関係を理解しているからではなく、言語の相関を非常によく理解しているからです。次は因果構造の理解です。 もしその未来に向けて築くなら、インドや他の南アジア・東南アジア地域を拠点にデータ収集を拠点にしたいと思います。ハードウェアを展開し、何千時間もの人間の活動データ、健康信号、バイタルを収集し、注釈パイプラインを継続的に実行します。昼も夜も。 もし私がa16zなら、創業者に資金を提供してやるでしょう。 自分でもやりたくなるかもしれません。

今年の予測では、OpenAIがAMDを買収するというものです。サマは4Dチェスを指していて、すでに勝ち始めている。AMDはOpenAIを必要としており、OpenAIはAMDを必要としています。 この発端は、AMDが1億6千万株のOpenAIワラントを1株あたり0.01ドルで発行したことから始まりました。OpenAIが6GWのAMD GPUを展開したことで株価は確定します。株価が600ドルに達し、OpenAIが完全に行使した場合、これらのワラントは960億ドルの価値(これも取引中のハードウェアとほぼ同じ価値)となります。 これはOpenAIがNvidiaとの契約構造を築いた方法とは異なります。NvidiaはOpenAIに1000億ドルを投資し、OpenAIは少なくとも10GWのNvidiaハードウェアを導入することを約束しました。OpenAIは顧客です。投資家はNvidiaです。OpenAIはNvidiaに出資していません。 AMDでは構造が逆さまです。OpenAIはAMDの企業戦略に影響を与える可能性のある共同所有者となります。それはベンダー関係の構造の方法ではありません。買収の前段階を構築したい場合です。 タイミングが鍵です。OpenAIもまた、非営利から営利企業に移行したばかりです。再編は資金調達のためではなく、サマは無限の資本を調達できます。非営利団体が簡単にできない複雑なM&Aを可能にすることでした。 その様子は以下の通りです: >OpenAIはSamsung/SKハイニックスの取引を通じて世界のDRAM供給の40%を支配しています >OpenAIはAMDの10%の株式を保有しています > OpenAIはBroadcomと共にカスタムチップを開発しています >OpenAIはTSMCと共に独自の推論チップを構築しています OpenAI>Nvidiaと1000億ドル規模のパートナーシップを結んでいます 一見垂直統合のように見えますが、Samaは実際にはAI計算スタック全体の横方向キャプチャを試みています。 AMDはハイパースケーリングにおいてNvidiaの信頼できる唯一の代替手段です。また、ZTシステムも買収し、ロックスケールのサーバー製造を実現しました。彼らは競争力のあるGPUを持っています。しかし、需要が保証されるアンカーがありません。OpenAIはそれ(そしてそれ以上のもの)を提供します。 もしOpenAIがAMDを買収すれば、モデル設計、チップ設計、メモリ供給管理を手がける垂直統合型のAI企業が誕生します。そのような会社は現在存在しません。GoogleにはTPUやDeepMindでこうしたものがありますが、TPUは内部専用です。OpenAI-AMDの企業は、独自の優位性を維持しつつ市場に販売することも可能です。 インテルがここでより予測不能な存在として浮上しても驚きません。彼らはAMDもNvidiaも持っていない国内ファウンドリーの能力を持っています。また、エンタープライズコンピューティングを支配しているx86アーキテクチャも搭載しています。 NvidiaはIntelに50億ドルを投資していますが、Nvidiaのファウンドリー事業はチップ製造には使われておらず、CPUの共同開発のみを行っています。それで隙ができた。もしOpenAIが自社のカスタムチップの国内ファブ生産能力を望むなら、インテルのファウンドリーはアメリカで唯一の大規模な選択肢です。 サマがAGIを構築するために5兆から7兆ドルが必要だと言ったとき、これは彼のグローバルファブネットワーク構築への野望を正当化しています。彼のタイミングはCHIPS法の制定に絶好のタイミングでした。もしあなたが政府が半導体独立を達成するために必要な企業であれば、異なる扱いを受けるでしょう。 最終的な目的は「OpenAIがAMDを買収する」や「OpenAIがIntelを買収する」とは限りません。しかし「OpenAIは国内のチップ企業を統合されたAIサプライチェーンに結びつける統合層となる」ことになるでしょう。これは、かつては別々だった業界をまたいで調整する新しいタイプの組織となるでしょう。 サマはモデル層、チップ層、メモリ層を制御しようとし、誰かが全体の構造をマッピングする頃には、あなたはあまりにも統合されていて、解きほぐす余裕がなくなります。

もしスティーブ・ジョブズがまだ生きていたら、アップルはこの素晴らしい技術を作っていたでしょう。