本日の Extropic の発売は、いくつかの新たな危険信号を引き起こします。 私がこの会社をフォローし始めたのは、彼らが構築しているものの入出力仕様の説明を拒否し、説明を得るのを待ったからです。 今日からの 3 つの危険信号は次のとおりです。 1. から 「生成 AI はサンプリングです。すべての生成 AI アルゴリズムは、基本的に確率分布からサンプリングするための手順です。生成AIモデルの学習は、一部の学習データの根底にある確率分布の推論に相当し、推論の実行は学習した分布からサンプルを生成することに相当します。TSU はサンプリングするため、生成 AI アルゴリズムをネイティブに実行できます。」 これは、人間の脳を熱力学的コンピューターと呼ぶのと同じレベルのガスライティングで、最も有用な最新の AI を動かすアルゴリズムについての非常に誤解を招く主張です。IIUC は、誰もが知る限り、AI 計算作業の大部分は、Extropic のチップに入力できる種類の入出力と一致しません。 このページには次のように書かれています。 「次の課題は、これらのプリミティブを組み合わせて、今日の LLM に匹敵するものに機能をスケールアップできるようにする方法を見つけることです。そのためには、非常に大規模な TSU を構築し、任意の量の確率的コンピューティング リソースを消費できる新しいアルゴリズムを発明する必要があります。」 LLM のようなアプリケーションがこのハードウェアの恩恵を受けることが可能かどうかを調査するために、大規模な TSU を構築する必要がありますか?理論と最新のクラウドスーパーコンピューティングハードウェアの組み合わせを通じてこの問題を調査するのに数$million費やし、代わりにどこにも通じない架け橋となる可能性のあるハードウェアの構築に$30M以上を費やす価値があると考えました。 THRML(オープンソースライブラリ)の独自のドキュメントには次のように書かれています。 「THRMLは、まばらで異種のグラフでブロックサンプリングするためのGPUアクセラレーションツールを提供し、今日プロトタイプを作成し、将来のExtropicハードウェアを実験するための自然な場所になります。」 あなたは、ハードウェアプリミティブを「原則として」ある種の有用なアプリケーションに適用できる方法が欠けていると言っていますが、今日のGPUを使用してそのような研究を行うのを助けるためにこのライブラリを作成しました... Python ライブラリ (THRML) を早期にリリースし、より早く行う必要があると言ったボトルネックの調査を行い、この重要な質問に対する答えを得るためにコミュニティを巻き込むのはなぜですか?なぜ、この非常にニッチな小型ハードウェアプロトタイプを最初に立ち上げて、この成否を分けるボトルネックを説明し、そうしないコストが$30Mと18か月だったのに、何らかの関連する「確率的ワークロード」を持つ潜在的なパートナーを探しているだけを公表するのをこれほどずっと待っていたのですか? 2. から 「私たちは TSU アーキテクチャのモデルを開発し、それを使用して、上記のアニメーションに示されているノイズ除去プロセスを実行するのに必要なエネルギー量を推定しました。私たちが発見したのは、TSU 上で実行される DTM は、GPU 上の標準的な画像生成アルゴリズムよりも約 10,000 倍エネルギー効率が高いということです。」 すでにツイッターで10,000倍の主張を誇大宣伝している人を見かけている。しかし、同様の誇大広告の数字で「量子優位性」を達成すると主張する量子コンピューティング企業の数十年にわたる物語を追ってきた人なら誰でも、この種のベンチマークを定義するのにどれほど注意が必要かをご存知でしょう。 実際には、古典的なコンピューティングアプローチが主張されている「10,000倍速い熱力学的コンピューティング」アプローチよりもはるかに高速ではない状況を指摘することは非常に難しい傾向があります。Extropic チームはこのことを知っていますが、バイラルになることを望んでいたこの誇大広告ベンチマークを再現できる条件については詳しく説明しないことを選択しました。 3. 彼らが使用している用語は「確率的コンピューター」に切り替わりました:「私たちは世界初のスケーラブルな確率的コンピューターを設計しました。」今日まで、彼らは「熱力学的コンピュータ」を用語として使用しており、「脳は熱力学的コンピュータである」と書面で主張していました。 用語を転換することに対する疑いの恩恵を彼らに与えることができます。ただ、彼らはいつも脳が「熱力学的コンピューター」であるというナンセンスなことを話していただけです(私の見解では、脳はそれでも「量子コンピューター」でもなく、古典的なコンピューターアーキテクチャ上で実行されるニューラルネットアルゴリズムです)。そして、この突然の用語の転換は、彼らがその面でナンセンスなことを言っていたことと一致しています。 さて、ポジティブな点について: * いくつかのハードウェアが実際に構築されました! * 彼らは、その入出力がノイズ除去にどのように潜在的に応用できるかを説明していますが、前述のように、この面で達成した想定される「10,000倍の熱力学的優位性」の詳細については曖昧です。 全： これは、18か月前に初めて入力出力を求め始めたときに私が予想していたことです。 彼らはハードウェアについて正当にクールなアイデアを持っていましたが、それを役に立たせる計画はありませんでしたが、それを役に立たせる機会があった理論的研究の漠然とした始まりがありました。 彼らは、ハードウェアを生産に投入するまでにかなりの進歩を遂げたようです ($30M で購入できる金額)、この特定のハードウェアが 10 世代にわたる後継製品の改良の後でも、誰にとっても役立つ理由を見つけるにはあまり進歩していないようです。 今後は、デバイスの入出力に関する質問に、人々を「モギング」して会社の秘密だと言ったり、熱力学の神についての過信をツイートしたりするのではなく、技術コミュニティが実際にあなたの答えを手伝うことに興味を持っているかもしれない、一見巨大な生死を分ける質問についてもっとオープンになることをお勧めします:誰かがあなたのシミュレーターで、ある種の有用な「熱力学的優位性」というより強力な証拠を持つPythonプログラムを作成できるかどうかハードウェアのコンセプトはいつでも問題になる可能性があります。

他の何人かもあなたと同じ誤った特徴付けに陥ると思いますので、明確にしておきます。 これは、有用なステップ 10 への道のりのステップ 1 ではありません。首尾一貫した理論的なストーリーなしにハードウェアを積極的に前進させており、彼らはそれを認めています。それは問題ありません、これほど十分な資金があるのは珍しいことです。大学では、わずかな予算で、何を構築する必要があるのか、そしてその理由について、より首尾一貫したストーリーを持つ多くの研究プロジェクトがあります。

@NGDPAB 2.ここに半分のページがありますが、私が言いたいのは、小さなスケールでスピードアップを証明することはあまり価値がないということです。私たちは皆、このことを知っています。

Re: 危険信号 #2、誤解を招く「10,000 倍」の誇大宣伝:

先ほども言ったように、Extropic の成功のボトルネックは、誰かが彼らの長期にわたるアイデアを有用に応用して木工品から出てくることを期待していることです。 この同じヘイル・メアリーが最初に作られるはずなのに、$30M+ を事前に燃やすのはお勧めできません。