Якби я був a16z, yc або sequoia, я б активно інвестував у стартапи, які створюють нові способи збору та анотування реальних даних. > Мільярди годин даних водіння > Працівники фабрик взаємодіють з побутовою технікою та важкою технікою > Аудіосегментація з глибоким діалектичним і культурним розумінням > Експериментальні дані вологої лабораторії > Безперервний збір і анотація слідів агентів на обчислювальному масштабі Коли ми створювали LLM, більшість даних вже існувала в інтернеті. Потрібно було лише зішкріпати, почистити і масштабувати. Але коли ми рухаємося до моделей світових основ, вузьким місцем є якісні, реальні, добре проанотовані дані. І якість анотації має значення. Існує величезна різниця між: "Яблуко на дереві" та "Стиглі яблука на дереві. Вітер дме зі швидкістю 2 милі на годину. Температура становить близько 18°C. ” Питання просте. Скільки світу ти можеш насправді охопити? Сьогодні LLM знають, що яблука падають через гравітацію, а не тому, що розуміють причинність, а тому, що дуже добре розуміють мовні кореляції. Далі йде розуміння причинної структури. Якби я рухався до цього майбутнього, я б закріпив збір даних в Індії та інших регіонах Південної та Південно-Східної Азії. Я розгортав апаратне забезпечення, збирав тисячі годин даних про людську діяльність, медичні сигнали та життєві показники, а також безперервно запускав конвеєри анотації. День і ніч. Якби я був a16z, я б фінансував засновників для цього. Можливо, у мене просто з'явиться бажання зробити це сам.

Прогноз на цей рік полягає в тому, що OpenAI придбає AMD. Сама грає у 4D-шахи і вже виграє. AMD потребує OpenAI так само, як OpenAI потребує AMD. Все почалося, коли AMD випустила варранти OpenAI на 160 мільйонів акцій за $0.01 за акцію. Акції переходять у продаж, оскільки OpenAI впроваджує 6 ГВт AMD GPU. Якщо акції досягнуть $600 і OpenAI повністю реалізується, ці варранти коштуватимуть $96 мільярдів (приблизно така ж вартість, як і обладнання в угоді). Це відрізняється від того, як OpenAI структурувала свою угоду з Nvidia. Nvidia інвестувала 100 мільярдів доларів у OpenAI, при цьому OpenAI зобов'язалася впровадити щонайменше 10 ГВт апаратного забезпечення Nvidia. OpenAI — це клієнт. Nvidia є інвестором. OpenAI не має жодних часток у Nvidia. У AMD структура інвертована. OpenAI стає потенційним співвласником із впливом на корпоративну стратегію AMD. Так не будують відносини з постачальником. Це коли ви хочете структурувати попередника придбання. Час — це ключ. OpenAI також нещодавно перейшов з неприбуткової організації на комерційну. Реструктуризація ніколи не була про збір коштів, Sama може залучати нескінченний капітал. Йшлося про забезпечення складних M&A, які неприбуткові організації не можуть легко реалізувати. Ось як це виглядає: > OpenAI контролює 40% світового постачання DRAM через угоди Samsung/SK Hynix > OpenAI має 10% акцій AMD > OpenAI розробляє власні чипи разом із Broadcom > OpenAI створює власні інференційні чипи за допомогою TSMC > OpenAI має партнерство з Nvidia на суму 100 мільярдів доларів Може здатися, що це вертикальна інтеграція, але Sama насправді намагається горизонтально захопити весь стек обчислень ШІ. AMD — єдина надійна альтернатива Nvidia для гіпермасштабування. Вони також придбали ZT Systems, що надало їм виробництво серверів у масштабі стійки. У них конкурентні відеокарти. Але їм бракує гарантованого якоря попиту. OpenAI надає це (і, можливо, набагато більше). Якщо OpenAI придбає AMD, це створить вертикально інтегровану AI-компанію, яка розроблятиме моделі, чипи та контролює постачання пам'яті. Такої компанії наразі не існує. Google має такі частини з TPU та DeepMind, але TPU є лише внутрішньою. Компанія OpenAI-AMD може продавати на ринку, зберігаючи власні переваги. Я не здивуюся, якщо Intel з'явиться тут як більш дика карта. Вони мають внутрішні потужності, яких немає ні AMD, ні Nvidia. Вони також мають архітектуру x86, яка досі домінує в корпоративних обчисленнях. Nvidia інвестувала $5 млрд в Intel, але їхній ливарний бізнес не використовується Nvidia для виробництва чипів, вони лише спільно розробляють процесори. Це залишає прорив. Якщо OpenAI хотіла мати власну потужність виробництва для своїх кастомних чипів, то Intel Foundry — єдиний американський варіант у великому масштабі. Коли Сама сказав, що йому потрібно $5-7 трильйонів для створення AGI, це виправдовує його амбіції створити глобальну мережу фабрик. Його час не міг бути ідеальним із Законом CHIPS. Якщо ви та компанія, яка потрібна уряду для досягнення незалежності від напівпровідників, ви отримаєте інше ставлення. Кінцева мета може бути не «OpenAI купує AMD» або «OpenAI купує Intel». Але це буде «OpenAI стане інтегруючим шаром, який об'єднує вітчипові компанії з виробництва чипів у єдиний ланцюг постачання ШІ». Це буде новий тип структури, яка координуватиме роботу між тими, що раніше були окремими галузями. Sama намагається керувати шаром моделі, шаром чіпа, шаром пам'яті, і до того часу, як хтось наробить карту повної структури, ти вже занадто інтегрований, щоб розгортатися.

Якби Стів Джобс був живий, Apple створила б цю — абсолютно прекрасну технологію.