يثير إطلاق Extropic اليوم بعض العلامات الحمراء الجديدة. بدأت في متابعة هذه الشركة عندما رفضوا شرح مواصفات المدخلات / المخرجات لما يقومون ببنائه ، مما جعلنا ننتظر الحصول على توضيح.) فيما يلي 3 أعلام حمراء من اليوم: 1. من "الذكاء الاصطناعي التوليدي هو أخذ العينات. جميع خوارزميات الذكاء الاصطناعي التوليدية هي في الأساس إجراءات لأخذ العينات من توزيعات الاحتمال. يتوافق تدريب نموذج الذكاء الاصطناعي التوليدي مع استنتاج التوزيع الاحتمالي الذي يقوم عليه بعض بيانات التدريب ، ويتوافق تشغيل الاستدلال مع توليد عينات من التوزيع المكتسب. نظرا لأن وحدات TSU تقوم بأخذ عينات ، يمكنها تشغيل خوارزميات الذكاء الاصطناعي التوليدية أصلا ". هذا ادعاء مضلل للغاية حول الخوارزميات التي تشغل الذكاء الاصطناعي الحديث الأكثر فائدة ، على نفس مستوى إضاءة الغاز مثل تسمية الدماغ البشري بجهاز كمبيوتر ديناميكي حراري. IIUC ، على حد علم أي شخص ، فإن غالبية أعمال حساب الذكاء الاصطناعي لا تتطابق مع نوع الإدخال / الإخراج الذي يمكنك إدخاله في شريحة Extropic. الصفحة تقول: "التحدي التالي هو معرفة كيفية الجمع بين هذه البدائيات بطريقة تسمح بتوسيع نطاق القدرات إلى شيء يمكن مقارنته ب LLMs اليوم. للقيام بذلك ، سنحتاج إلى بناء وحدات TSUs كبيرة جدا ، واختراع خوارزميات جديدة يمكنها استهلاك كمية عشوائية من موارد الحوسبة الاحتمالية ". هل تحتاج حقا إلى إنشاء وحدات TSU كبيرة للبحث عما إذا كان من الممكن للتطبيقات الشبيهة ب LLM الاستفادة من هذه الأجهزة؟ كنت أعتقد أنه سيكون من المفيد إنفاق بضع $million على التحقيق في هذا السؤال عبر مزيج من النظرية وأجهزة الحوسبة السحابية الفائقة الحديثة ، وبدلا من ذلك إنفاق أكثر من 30 مليون دولار على بناء الأجهزة التي قد تكون جسرا إلى أي مكان. تقول وثائقهم الخاصة ل THRML (مكتبتهم مفتوحة المصدر): "يوفر THRML أدوات مسرعة بوحدة معالجة الرسومات لأخذ عينات الكتل على الرسوم البيانية المتناثرة وغير المتجانسة ، مما يجعلها مكانا طبيعيا لوضع نماذج أولية اليوم وتجربة الأجهزة الخارجية المستقبلية." أنت تقول أنك تفتقر إلى طريقة يمكن بها تطبيق بدائية أجهزتك * من حيث المبدأ * على التطبيقات المفيدة من نوع ما ، وقد أنشأت هذه المكتبة للمساعدة في إجراء هذا النوع من البحث باستخدام وحدات معالجة الرسومات اليوم ... لماذا لا تطلق مكتبة Python في وقت مبكر (THRML) ، وتقوم بأبحاث عنق الزجاجة التي قلت إنها يجب إجراؤها في وقت مبكر ، وإشراك المجتمع لمساعدتك في الحصول على إجابة لهذا السؤال الرئيسي الآن؟ لماذا كنت تنتظر كل هذا الوقت لإطلاق هذا النموذج الأولي للأجهزة المتخصصة للغاية على نطاق واسع للتقدم لشرح عنق الزجاجة هذا ، والإعلان فقط عن بحثك عن الشركاء المحتملين الذين لديهم نوع من "أعباء العمل الاحتمالية" ذات الصلة الآن ، عندما كانت تكلفة عدم القيام بذلك 30 مليون دولار و 18 شهرا؟ 2. من "لقد طورنا نموذجا لبنية TSU الخاصة بنا واستخدمناها لتقدير مقدار الطاقة التي سيستغرقها تشغيل عملية تقليل الضوضاء الموضحة في الرسوم المتحركة أعلاه. ما وجدناه هو أن DTMs التي تعمل على وحدات TSU يمكن أن تكون أكثر كفاءة في استخدام الطاقة بحوالي 10,000 مرة من خوارزميات توليد الصور القياسية على وحدات معالجة الرسومات. أرى بالفعل أشخاصا على Twitter يبالغون مطالبة 10,000 ضعف. ولكن بالنسبة لأي شخص تابع الملحمة التي استمرت عقودا من شركات الحوسبة الكمومية التي تدعي أنها تحقق "التفوق الكمي" بأنواع مماثلة من أرقام الضجيج ، فأنت تعرف مقدار العناية التي يجب مراعاتها في تحديد هذا النوع من المعايير. من الناحية العملية ، يميل إلى أن يكون من الصعب للغاية الإشارة إلى المواقف التي لا يكون فيها نهج الحوسبة الكلاسيكية أسرع بكثير من نهج "الحوسبة الديناميكية الحرارية الأسرع بمقدار 10000 مرة". يعرف فريق Extropic هذا ، لكنه اختار عدم توضيح نوع الظروف التي يمكن أن تعيد إنتاج معيار الضجيج هذا الذي أرادوا رؤيته ينتشر على نطاق واسع. 3. تم تحويل المصطلحات التي يستخدمونها إلى "كمبيوتر احتمالي": "لقد صممنا أول كمبيوتر احتمالي قابل للتطوير في العالم". حتى اليوم ، كانوا يستخدمون "الكمبيوتر الديناميكي الحراري" كمصطلح لهم ، وادعوا كتابيا أن "الدماغ هو كمبيوتر ديناميكي حراري". يمكن للمرء أن يمنحهم فائدة الشك في تحويل مصطلحاتهم. كل ما في الأمر أنهم كانوا يتحدثون دائما عن هراء عن كون الدماغ "كمبيوتر ديناميكي حراري" (من وجهة نظري ، الدماغ ليس كذلك ولا "كمبيوتر كمي" ؛ إنها إلى حد كبير خوارزمية شبكة عصبية تعمل على بنية كمبيوتر كلاسيكية). وهذا محور المصطلحات المفاجئ يتوافق مع أنهم كانوا يتحدثون عن هراء على تلك الجبهة. الآن للإيجابيات: * تم بناء بعض الأجهزة بالفعل! * يشرحون كيف أن المدخلات / المخرجات يحتمل أن يكون لها تطبيق في تقليل الأبعاد ، على الرغم من أنه كما ذكرنا ، غامضة بشأن تفاصيل "التفوق الديناميكي الحراري 10,000x" المفترض الذي حققوه على هذه الجبهة. العام: هذا ما كنت أتوقعه عندما بدأت في طلب مخرجات الإدخال لأول مرة منذ 18 شهرا. كانت لديهم فكرة رائعة بشكل شرعي لقطعة من الأجهزة ، لكن لم يكن لديهم خطة لجعلها مفيدة ، ولكن كان لديهم بعض البدايات الغامضة لبعض الأبحاث النظرية التي أتيحت لها الفرصة لجعلها مفيدة. يبدو أنهم أحرزوا تقدما محترما في إدخال الأجهزة في الإنتاج (المبلغ الذي يشتريه لك 30 مليون دولار) ، ويبدو أنهم أقل تقدما في العثور على الأسباب التي تجعل هذه الأجهزة المعينة ، حتى بعد 10 أجيال من التحسينات اللاحقة ، مفيدة لأي شخص. من الآن فصاعدا ، بدلا من الرد على أسئلة حول إدخال / مخرجات جهازك عن طريق "تلاعب" الأشخاص والقول إنه سر شركة ، وتغريد تغريد تضخمات حول إلهك الديناميكي الحراري ، أوصي بأن تكون أكثر انفتاحا بشأن سؤال الحياة أو الموت العملاق الذي قد يكون المجتمع التكنولوجي مهتما بالفعل بمساعدتك في الإجابة عليه: ما إذا كان بإمكان شخص ما كتابة برنامج Python في جهاز المحاكاة الخاص بك مع دليل أقوى على أن نوعا من "التفوق الديناميكي الحراري" المفيد مع يمكن أن يكون مفهوم الأجهزة شيئا.

أعتقد أن البعض الآخر سوف ينجذب أيضا إلى نفس التوصيف الخاطئ مثلك ، لذلك سأوضح: هذه ليست خطوة 1 على الطريق إلى خطوة مفيدة 10. إنها تحرث بقوة على الأجهزة دون قصة نظرية متماسكة ، وهو ما يعترفون به. هذا جيد ، من غير المعتاد أن يتم تمويله بشكل جيد. هناك العديد من المشاريع البحثية في الجامعات بميزانيات ضئيلة تحتوي على قصة أكثر تماسكا لما يجب بناؤه ولماذا.

@NGDPAB 2. أرى نصف صفحة هنا ، لكن وجهة نظري هي أن إثبات التسريع على نطاق صغير لا يستحق الكثير. كلنا نعرف هذا.

رد: العلم الأحمر # 2 ، الضجيج المضلل "10,000x":

كما كنت أقول ، فإن عنق الزجاجة أمام نجاح Extropic هو الأمل في أن يخرج شخص ما من الأعمال الخشبية بتطبيق مفيد لفكرته الطويلة. من غير المستحسن حرق 30 مليون دولار + مسبقا عندما كان من الممكن صنع Hail Mary نفسه أولا.