Запуск Extropic сегодня вызывает новые красные флаги. Я начал следить за этой компанией, когда они отказались объяснить спецификации ввода/вывода того, что они строят, оставив нас в ожидании разъяснений.) Вот 3 красных флага с сегодняшнего дня: 1. Из "Генеративный ИИ — это выборка. Все алгоритмы генеративного ИИ по сути являются процедурами выборки из вероятностных распределений. Обучение модели генеративного ИИ соответствует выводу вероятностного распределения, которое лежит в основе некоторых обучающих данных, а выполнение вывода соответствует генерации выборок из изученного распределения. Поскольку TSU выбирают, они могут запускать алгоритмы генеративного ИИ нативно." Это крайне вводящее в заблуждение утверждение о алгоритмах, которые питают самые полезные современные ИИ, на том же уровне газлайтинга, что и утверждение, что человеческий мозг — это термодинамический компьютер. Если я правильно понимаю, насколько кому-либо известно, большинство вычислительных работ ИИ не соответствует тому типу ввода/вывода, который можно подать на чип Extropic. На странице говорится: "Следующая задача — выяснить, как объединить эти примитивы таким образом, чтобы возможности можно было масштабировать до чего-то сопоставимого с современными LLM. Для этого нам нужно будет построить очень большие TSU и изобрести новые алгоритмы, которые могут потреблять произвольное количество вероятностных вычислительных ресурсов." Вам действительно нужно строить большие TSU, чтобы исследовать, возможно ли, чтобы приложения, подобные LLM, получили выгоду от этого оборудования? Я бы подумал, что стоит потратить пару миллионов долларов на исследование этого вопроса с помощью комбинации теории и современного облачного суперкомпьютерного оборудования, вместо того чтобы тратить более 30 миллионов долларов на создание оборудования, которое может оказаться мостом в никуда. В их собственной документации для THRML (их открытой библиотеки) говорится: "THRML предоставляет инструменты с ускорением GPU для блочной выборки на разреженных, гетерогенных графах, что делает его естественным местом для прототипирования сегодня и экспериментов с будущим оборудованием Extropic." Вы говорите, что у вас нет способа, как ваши аппаратные примитивы могли бы *в принципе* быть применены к полезным приложениям какого-либо рода, и вы создали эту библиотеку, чтобы помочь проводить такие исследования, используя сегодняшние GPU… Почему бы вам не выпустить библиотеку Python раньше (THRML), не провести исследование узких мест, которое вы сказали, что нужно сделать раньше, и не привлечь сообщество, чтобы помочь вам получить ответ на этот ключевой вопрос к настоящему времени? Почему вы ждали все это время, чтобы сначала запустить этот крайне нишевый прототип аппаратного обеспечения малого масштаба, чтобы объяснить это критически важное узкое место, и только сейчас публично объявить о вашем поиске потенциальных партнеров, у которых есть какие-то соответствующие "вероятностные рабочие нагрузки", когда стоимость бездействия составила 30 миллионов долларов и 18 месяцев? 2. Из "Мы разработали модель нашей архитектуры TSU и использовали ее, чтобы оценить, сколько энергии потребуется для выполнения процесса денойзинга, показанного в вышеуказанной анимации. Что мы обнаружили, так это то, что DTM, работающие на TSU, могут быть примерно в 10 000 раз более энергоэффективными, чем стандартные алгоритмы генерации изображений на GPU." Я уже вижу, как люди в Twitter раздувают утверждение о 10 000 раз. Но для тех, кто следил за многолетней сагой компаний по квантовым вычислениям, которые утверждали, что достигли "квантового превосходства" с подобными гиперболическими цифрами, вы знаете, сколько заботы нужно вложить в определение такого рода эталона. На практике, как правило, крайне сложно указать ситуации, когда классический подход к вычислениям *не* намного быстрее, чем заявленный "в 10 000 раз быстрее термодинамический вычислительный" подход. Команда Extropic это знает, но решила не уточнять, какие условия могли бы воспроизвести этот гиперболический эталон, который они хотели бы увидеть вирусным. 3. Терминология, которую они используют, была изменена на "вероятностный компьютер": "Мы разработали первый в мире масштабируемый вероятностный компьютер." До сегодняшнего дня они использовали термин "термодинамический компьютер" и утверждали в письменной форме, что "мозг — это термодинамический компьютер". Можно было бы дать им кредит за изменение их терминологии. Просто они всегда говорили чепуху о том, что мозг является "термодинамическим компьютером" (на мой взгляд, мозг не является ни тем, ни другим; это в значительной степени алгоритм нейронной сети, работающий на классической компьютерной архитектуре). И этот внезапный поворот терминологии согласуется с тем, что они говорили чепуху на этом фронте. Теперь о положительных моментах: * Некоторое оборудование действительно было построено! * Они объясняют, как его ввод/вывод потенциально может иметь применение в денойзинге, хотя, как уже упоминалось, они расплывчаты в деталях предполагаемого "10 000 раз термодинамического превосходства", которого они достигли в этом отношении. В целом: Это примерно то, что я ожидал, когда впервые начал спрашивать о вводе-выводе 18 месяцев назад. У них была действительно классная идея для кусочка оборудования, но не было плана, как сделать его полезным, но были некоторые расплывчатые начала теоретического исследования, которое имело шанс сделать его полезным. Они, похоже, добились достойного прогресса в производстве оборудования (то количество, которое можно купить за 30 миллионов долларов), и, по-видимому, менее прогресса в поиске причин, почему это конкретное оборудование, даже после 10 поколений усовершенствований, будет полезно кому-либо. В дальнейшем, вместо того чтобы отвечать на вопросы о вводе/выводе вашего устройства, "могая" людей и говоря, что это коммерческая тайна, и твитя гиперстишины о вашем термодинамическом боге, я бы рекомендовал быть более открытыми по поводу, казалось бы, гигантского вопроса жизни и смерти, на который техническое сообщество может быть действительно заинтересовано в помощи вам ответить: может ли кто-то написать программу на Python в вашем симуляторе с более убедительными доказательствами того, что какое-то полезное "термодинамическое превосходство" с вашим концептом оборудования когда-либо может быть реальностью.

Я полагаю, что некоторые другие также подхватят такое же неверное представление, как и вы, поэтому я уточню: Это не шаг 1 на пути к полезному шагу 10. Это агрессивное продвижение вперед в области аппаратного обеспечения без последовательной теоретической основы, что они сами признают. Это нормально, просто необычно иметь такое хорошее финансирование. Существует множество исследовательских проектов в университетах с ограниченным бюджетом, которые имеют более последовательную историю о том, что нужно построить и почему.

@NGDPAB 2. Я вижу здесь полстраницы, но моя точка зрения заключается в том, что доказательство ускорений на крошечном масштабе не имеет особой ценности. Мы все это знаем.

Re: Красный флаг #2, вводящий в заблуждение хайп "10,000x":

Как я уже говорил, узким местом в успехе Extropic является надежда на то, что кто-то появится с полезным приложением их рискованной идеи. Просто нецелесообразно заранее сжигать более 30 миллионов долларов, когда этот же рискованный шаг мог быть предпринят первым.