Сьогоднішній запуск Extropic викликає деякі нові тривожні сигнали. Я почав стежити за цією компанією, коли вони відмовилися пояснити специфікацію вводу/виводу того, що вони будують, змусивши нас чекати, поки ми отримаємо роз'яснення.) Ось 3 червоні прапорці сьогоднішнього дня: 1. З «Генеративний штучний інтелект – це вибірка. Усі алгоритми генеративного штучного інтелекту по суті є процедурами для вибірки з розподілів ймовірностей. Навчання генеративної моделі штучного інтелекту відповідає виведенню розподілу ймовірностей, який лежить в основі деяких навчальних даних, а виконання висновків відповідає генерації зразків із вивченого розподілу. Оскільки TSU мають вибірку, вони можуть запускати генеративні алгоритми штучного інтелекту за замовчуванням». Це вкрай оманливе твердження про алгоритми, які забезпечують роботу найкорисніших сучасних штучних інтелектів, на тому ж рівні газлайтингу, що й називання людського мозку термодинамічним комп'ютером. IIUC, наскільки відомо, більшість обчислювальної роботи штучного інтелекту не відповідає типу введення/виведення, який ви можете ввести в чіп Extropic. На сторінці написано: «Наступне завдання полягає в тому, щоб з'ясувати, як об'єднати ці примітиви таким чином, щоб дозволити масштабувати можливості до чогось, що можна порівняти з сучасними LLM. Для цього нам потрібно буде будувати дуже великі ТСУ та винаходити нові алгоритми, які можуть споживати довільну кількість імовірнісних обчислювальних ресурсів». Чи дійсно вам потрібно створювати великі TSU, щоб дослідити, чи можливо для LLM-подібних додатків отримати вигоду від цього обладнання? Я б подумав, що варто витратити кілька $million на дослідження цього питання за допомогою комбінації теорії та сучасного хмарного суперкомп'ютерного обладнання, замість цього витративши понад 30 мільйонів доларів на створення обладнання, яке може стати мостом у нікуди. У їхній власній документації до THRML (бібліотеки з відкритим вихідним кодом) сказано: «THRML надає прискорені графічним процесором інструменти для вибірки блоків на розріджених, гетерогенних графах, що робить його природним місцем для створення прототипів сьогодні та експериментів з майбутнім обладнанням Extropic». Ви говорите, що вам не вистачає способу, яким ваші апаратні примітиви могли б *в принципі* бути застосовані до якихось корисних додатків, і ви створили цю бібліотеку, щоб допомогти проводити такі дослідження, використовуючи сучасні графічні процесори... Чому б вам просто не випустити бібліотеку Python раніше (THRML), не провести дослідження вузьких місць, про які ви сказали, що потрібно провести раніше, і залучити спільноту, щоб вона допомогла вам отримати відповідь на це ключове питання вже зараз? Чому ви весь цей час чекали, щоб вперше запустити цей надзвичайно нішевий прототип крихітного обладнання, щоб виступити з поясненням цього вирішального вузького місця, і оприлюднити свій пошук потенційних партнерів, які мають якесь відповідне «імовірнісне робоче навантаження» лише зараз, коли вартість відмови від цього становила 30 мільйонів доларів і 18 місяців? 2. З «Ми розробили модель нашої архітектури TSU і використовували її, щоб оцінити, скільки енергії знадобиться для запуску процесу знешумлення, показаного в анімації вище. Ми виявили, що DTM, що працюють на TSU, можуть бути приблизно в 10 000 разів енергоефективнішими, ніж стандартні алгоритми генерації зображень на графічних процесорах». Я вже бачу, як люди в Twitter розкручують заяву про 10 000x. Але для будь-кого, хто стежив за багаторічною сагою про компанії, що займаються квантовими обчисленнями, які заявляють, що досягають «квантової переваги» за допомогою подібних гучних показників, ви знаєте, скільки уваги потрібно докласти для визначення такого роду орієнтирів. На практиці, як правило, дуже важко вказати на ситуації, коли класичний підхід до обчислень не набагато швидший, ніж заявлений підхід «у 10 000 разів швидший термодинамічний обчислення». Команда Extropic знає про це, але вирішила не вдаватися в подробиці про те, які умови могли б відтворити цей еталон ажіотажу, який вони хотіли бачити вірусним. 3. Термінологія, яку вони використовують, була замінена на «імовірнісний комп'ютер»: «Ми розробили перший у світі масштабований імовірнісний комп'ютер». До сьогоднішнього дня вони використовували термін «термодинамічний комп'ютер» і стверджували в письмовій формі, що «мозок є термодинамічним комп'ютером». Можна було б дати їм перевагу сумніву в тому, що вони змінили свою термінологію. Просто вони завжди говорили нісенітниці про те, що мозок — це «термодинамічний комп'ютер» (на мою думку, мозок не є ні тим, ні «квантовим комп'ютером»; це дуже схоже на алгоритм нейронної мережі, що працює на класичній комп'ютерній архітектурі). І цей раптовий поворот у термінології узгоджується з тим, що вони говорили нісенітниці на цьому фронті. Тепер про позитивні моменти: * Деяке обладнання дійсно було створено! * Вони пояснюють, як його вхід/вихід потенційно може бути застосований у знешумленні, хоча, як уже згадувалося, неясні щодо деталей передбачуваної «10 000-кратної термодинамічної переваги», якої вони досягли на цьому фронті. Загальний: Це приблизно те, чого я очікував, коли вперше почав просити вхідний вихід 18 місяців тому. У них була дійсно крута ідея для апаратного забезпечення, але вони не мали плану, як зробити його корисним, але мали деякі туманні початки деяких теоретичних досліджень, які мали шанс зробити його корисним. Вони, схоже, досягли респектабельного прогресу у виробництві апаратного забезпечення (сума, яку вам купують 30 мільйонів доларів), і, здається, менше прогресу в пошуку причин, чому це конкретне обладнання, навіть після 10 поколінь удосконалень наступників, буде корисним комусь. Забігаючи наперед, замість того, щоб відповідати на запитання про вхід/вихід вашого пристрою, «ображаючи» людей і кажучи, що це секрет компанії, і твітити гіперстиції про вашого термодинамічного бога, я б рекомендував бути більш відкритим про, здавалося б, гігантське питання життя або смерті, на яке технічна спільнота насправді може бути зацікавлена допомогти вам відповісти: чи може хтось написати програму на Python у вашому симуляторі з більш вагомими доказами того, що якась корисна «термодинамічна перевага» з вашим Апаратна концепція може бути річчю.

Гадаю, деякі інші також впадуть у таку ж неправильну характеристику, як і ви, тому я уточню: Це не крок 1 на шляху до корисного кроку 10. Вона агресивно оре вперед по залізу без зв'язної теоретичної історії, що вони визнають. Це нормально, просто незвично бути так добре фінансованим. В університетах є багато дослідницьких проектів з обмеженим бюджетом, які мають більш послідовну історію про те, що і чому потрібно будувати.

@NGDPAB 2. Я бачу тут півсторінки, але моя думка полягає в тому, що доводити прискорення в крихітних масштабах просто не так вже й багато. Ми всі це знаємо.

Re: Червоний прапор #2, оманливий ажіотаж "10,000x":

Як я вже говорив, вузьким місцем на шляху до успіху Extropic є надія на те, що хтось вийде з лісу з корисним застосуванням їхньої довготривалої ідеї. Просто небажано заздалегідь спалювати 30 мільйонів доларів+, коли цей самий Hail Mary міг бути зроблений першим.