Dzisiejsze uruchomienie Extropic budzi nowe czerwone flagi. Zacząłem śledzić tę firmę, gdy odmówili wyjaśnienia specyfikacji wejścia/wyjścia tego, co budują, pozostawiając nas w oczekiwaniu na wyjaśnienia.) Oto 3 czerwone flagi z dzisiaj: 1. Z "Generatywna AI to próbkowanie. Wszystkie algorytmy generatywnej AI są zasadniczo procedurami próbkowania z rozkładów prawdopodobieństwa. Szkolenie modelu generatywnej AI odpowiada wnioskowaniu o rozkładzie prawdopodobieństwa, który leży u podstaw danych treningowych, a uruchamianie wnioskowania odpowiada generowaniu próbek z wyuczonego rozkładu. Ponieważ TSU próbkują, mogą uruchamiać algorytmy generatywnej AI natywnie." To jest bardzo mylące twierdzenie dotyczące algorytmów, które napędzają najbardziej użyteczne nowoczesne AI, na tym samym poziomie co gaslighting, nazywając ludzki mózg komputerem termodynamicznym. IIUC, o ile wiadomo, większość pracy obliczeniowej AI nie pasuje do rodzaju wejścia/wyjścia, które można wprowadzić do chipu Extropic. Strona mówi: "Następnym wyzwaniem jest ustalenie, jak połączyć te prymitywy w sposób, który pozwoli na skalowanie możliwości do czegoś porównywalnego z dzisiejszymi LLM. Aby to zrobić, będziemy musieli zbudować bardzo duże TSU i wynaleźć nowe algorytmy, które mogą konsumować dowolną ilość zasobów obliczeniowych probabilistycznych." Czy naprawdę musisz budować duże TSU, aby zbadać, czy aplikacje podobne do LLM mogą skorzystać z tego sprzętu? Myślałem, że warto byłoby wydać kilka milionów dolarów na zbadanie tego pytania za pomocą połączenia teorii i nowoczesnego sprzętu superkomputerowego w chmurze, zamiast wydawać ponad 30 milionów dolarów na budowę sprzętu, który może być mostem donikąd. Ich własna dokumentacja dla THRML (ich biblioteki open-source) mówi: "THRML zapewnia narzędzia przyspieszane przez GPU do próbkowania blokowego na rzadkich, heterogenicznych grafach, co czyni go naturalnym miejscem do prototypowania dzisiaj i eksperymentowania z przyszłym sprzętem Extropic." Mówisz, że brakuje ci sposobu, w jaki twoje prymitywy sprzętowe mogłyby *w zasadzie* być zastosowane w użytecznych aplikacjach, a stworzyłeś tę bibliotekę, aby pomóc w prowadzeniu takich badań przy użyciu dzisiejszych GPU… Dlaczego nie wydaliście wcześniej biblioteki Pythona (THRML), nie przeprowadziliście badań dotyczących wąskich gardeł, które powiedzieliście, że muszą być przeprowadzone wcześniej, i nie zaangażowaliście społeczności, aby pomóc wam uzyskać odpowiedź na to kluczowe pytanie do tej pory? Dlaczego czekaliście cały ten czas, aby najpierw uruchomić ten niezwykle niszowy prototyp sprzętu w małej skali, aby wyjaśnić to wąskie gardło, i dopiero teraz publicznie ogłosić swoje poszukiwania potencjalnych partnerów, którzy mają jakieś "obciążenia probabilistyczne", gdy koszt nie zrobienia tego wyniósł 30 milionów dolarów i 18 miesięcy? 2. Z "Opracowaliśmy model naszej architektury TSU i użyliśmy go do oszacowania, ile energii zajmie przeprowadzenie procesu denoisingu pokazanego w powyższej animacji. To, co odkryliśmy, to że DTM działające na TSU mogą być około 10 000 razy bardziej energooszczędne niż standardowe algorytmy generacji obrazów na GPU." Już widzę ludzi na Twitterze hype'ujących twierdzenie o 10 000x. Ale dla każdego, kto śledził wieloletnią sagę firm zajmujących się komputerami kwantowymi, które twierdziły, że osiągnęły "kwantową supremację" z podobnymi rodzajami hipe'owych liczb, wiesz, jak dużo uwagi trzeba poświęcić na zdefiniowanie tego rodzaju benchmarku. W praktyce, zazwyczaj jest niezwykle trudno wskazać sytuacje, w których klasyczne podejście obliczeniowe *nie* jest znacznie szybsze niż twierdzone "10 000 razy szybsze obliczenia termodynamiczne". Zespół Extropic wie o tym, ale zdecydował się nie rozwijać warunków, które mogłyby powtórzyć ten benchmark hipe, który chcieli zobaczyć wiralnym. 3. Terminologia, której używają, została zmieniona na "komputer probabilistyczny": "Zaprojektowaliśmy pierwszy na świecie skalowalny komputer probabilistyczny." Do dzisiaj używali terminu "komputer termodynamiczny" i twierdzili na piśmie, że "mózg jest komputerem termodynamicznym". Można by dać im korzyść z wątpliwości za zmianę terminologii. Po prostu zawsze mówili bzdury o mózgu jako "komputerze termodynamicznym" (moim zdaniem mózg nie jest ani tym, ani "komputerem kwantowym"; jest w dużej mierze algorytmem sieci neuronowej działającym na klasycznej architekturze komputerowej). A ta nagła zmiana terminologii jest zgodna z tym, że mówili bzdury w tej kwestii. Teraz pozytywy: * Niektóry sprzęt faktycznie został zbudowany! * Wyjaśniają, jak jego wejście/wyjście potencjalnie ma zastosowanie w denoisingu, chociaż, jak wspomniano, są niejasni co do szczegółów rzekomej "10 000 razy termodynamicznej supremacji", którą osiągnęli w tym zakresie. Ogólnie: To jest mniej więcej to, czego się spodziewałem, gdy po raz pierwszy zacząłem pytać o wejście/wyjście 18 miesięcy temu. Mieli naprawdę fajny pomysł na kawałek sprzętu, ale nie mieli planu, aby uczynić go użytecznym, ale mieli jakieś niejasne początki badań teoretycznych, które miały szansę uczynić go użytecznym. Wygląda na to, że poczynili szanowny postęp w wprowadzeniu sprzętu do produkcji (kwota, którą kupuje 30 milionów dolarów), a wydaje się, że mniej postępu w znalezieniu powodów, dla których ten konkretny sprzęt, nawet po 10 pokoleniach udoskonaleń, będzie użyteczny dla kogokolwiek. Idąc naprzód, zamiast odpowiadać na pytania dotyczące wejścia/wyjścia twojego urządzenia, "mogując" ludzi i mówiąc, że to tajemnica firmy, i tweetując hiperstycje o twoim termodynamicznym bogu, poleciłbym być bardziej otwartym na to, że wydaje się, że gigantyczne pytanie o życie i śmierć, które społeczność techniczna może być naprawdę zainteresowana, aby pomóc ci odpowiedzieć: czy ktoś może napisać program Pythona w twoim symulatorze z silniejszymi dowodami, że jakiś rodzaj użytecznej "termodynamicznej supremacji" z twoim konceptem sprzętu może kiedykolwiek być możliwy.

Myślę, że niektórzy inni również przyjmą to samo błędne zrozumienie co ty, więc wyjaśnię: To nie jest krok 1 na drodze do użytecznego kroku 10. To agresywne posuwanie się naprzód w zakresie sprzętu bez spójnej teorii, co sami przyznają. To w porządku, po prostu jest to niezwykłe, że mają tak duże fundusze. Istnieje wiele projektów badawczych na uniwersytetach z ograniczonym budżetem, które mają bardziej spójną historię tego, co należy zbudować i dlaczego.

@NGDPAB 2. Widzę tutaj pół strony, ale moim zdaniem, udowadnianie przyspieszeń w małej skali po prostu nie ma większego sensu. Wszyscy to wiemy.

Re: Czerwona flaga #2, mylący hype "10,000x":

Jak mówiłem, wąskim gardłem sukcesu Extropic jest nadzieja, że ktoś wyłoni się z tłumu z użyteczną aplikacją ich ryzykownego pomysłu. Po prostu nie jest wskazane, aby wcześniej spalić ponad 30 milionów dolarów, gdy ten sam Hail Mary mógłby zostać zrealizowany jako pierwszy.