El lanzamiento de Extropic de hoy levanta algunas nuevas banderas rojas. Comencé a seguir a esta empresa cuando se negaron a explicar las especificaciones de entrada / salida de lo que están construyendo, dejándonos esperando una aclaración). Aquí hay 3 señales de alerta de hoy: 1. Desde "La IA generativa es muestreo. Todos los algoritmos generativos de IA son esencialmente procedimientos para muestrear a partir de distribuciones de probabilidad. El entrenamiento de un modelo de IA generativa corresponde a inferir la distribución de probabilidad que subyace a algunos datos de entrenamiento, y la ejecución de inferencias corresponde a generar muestras a partir de la distribución aprendida. Debido a que las TSU muestrean, pueden ejecutar algoritmos de IA generativa de forma nativa". Esta es una afirmación muy engañosa sobre los algoritmos que impulsan las IA modernas más útiles, en el mismo nivel de gaslighting que llamar al cerebro humano una computadora termodinámica. IIUC, hasta donde se sabe, la mayoría del trabajo de computación de IA no coincide con el tipo de entrada/salida que se puede alimentar en el chip de Extropic. La página dice: "El próximo desafío es descubrir cómo combinar estas primitivas de una manera que permita que las capacidades se amplíen a algo comparable a los LLM actuales. Para hacer esto, necesitaremos construir TSU muy grandes e inventar nuevos algoritmos que puedan consumir una cantidad arbitraria de recursos informáticos probabilísticos". ¿Realmente necesita construir grandes TSU para investigar si es posible que las aplicaciones similares a LLM se beneficien de este hardware? Hubiera pensado que valdría la pena dedicar un par de $million a investigar esa pregunta a través de una combinación de teoría y hardware moderno de supercomputación en la nube, en lugar de gastar más de $ 30 millones en la construcción de hardware que podría ser un puente a ninguna parte. Su propia documentación para su THRML (su biblioteca de código abierto) dice: "THRML proporciona herramientas aceleradas por GPU para el muestreo de bloques en gráficos dispersos y heterogéneos, lo que lo convierte en un lugar natural para crear prototipos hoy y experimentar con el futuro hardware de Extropic". Estás diciendo que careces de una forma en que tus primitivas de hardware podrían *en principio* aplicarse a aplicaciones útiles de algún tipo, y creaste esta biblioteca para ayudar a hacer ese tipo de investigación utilizando las GPU actuales... ¿Por qué no lanzaría la biblioteca de Python antes (THRML), haría la investigación de cuellos de botella que dijo que debía hacerse antes e involucraría a la comunidad para que lo ayude a obtener una respuesta a esta pregunta clave a estas alturas? ¿Por qué esperó todo este tiempo para lanzar por primera vez este prototipo de hardware de pequeña escala extremadamente especializado para presentar esta explicación de este cuello de botella decisivo, y solo publicitar su búsqueda de socios potenciales que tengan algún tipo de "cargas de trabajo probabilísticas" relevantes ahora, cuando el costo de no hacerlo era de $ 30 millones y 18 meses? 2. Desde "Desarrollamos un modelo de nuestra arquitectura TSU y lo usamos para estimar cuánta energía se necesitaría para ejecutar el proceso de eliminación de ruido que se muestra en la animación anterior. Lo que descubrimos es que los DTM que se ejecutan en TSU pueden ser aproximadamente 10,000 veces más eficientes energéticamente que los algoritmos estándar de generación de imágenes en las GPU". Ya estoy viendo gente en Twitter exagerando la afirmación de 10,000x. Pero para cualquiera que haya seguido la saga de décadas de empresas de computación cuántica que afirman lograr la "supremacía cuántica" con tipos similares de cifras exageradas, sabe cuánto cuidado se debe tener para definir ese tipo de punto de referencia. En la práctica, tiende a ser extremadamente difícil señalar situaciones en las que un enfoque de computación clásica *no es* mucho más rápido que el enfoque de "computación termodinámica 10,000 veces más rápido". El equipo de Extropic lo sabe, pero optó por no dar más detalles sobre el tipo de condiciones que podrían reproducir este punto de referencia exagerado que querían que se volviera viral. 3. La terminología que están usando se ha cambiado a "computadora probabilística": "Diseñamos la primera computadora probabilística escalable del mundo". Hasta hoy, usaban "computadora termodinámica" como su término, y afirmaban por escrito que "el cerebro es una computadora termodinámica". Uno podría darles el beneficio de la duda para cambiar su terminología. Es solo que siempre decían tonterías sobre que el cerebro es una "computadora termodinámica" (en mi opinión, el cerebro no es ni eso ni una "computadora cuántica"; es en gran medida un algoritmo de red neuronal que se ejecuta en una arquitectura de computadora clásica). Y este repentino giro terminológico es consistente con que han estado diciendo tonterías en ese frente. Ahora los aspectos positivos: * ¡Se construyó algo de hardware! * Explican cómo su entrada/salida tiene potencialmente una aplicación en la eliminación de ruido, aunque, como se mencionó, son vagos en los detalles de la supuesta "supremacía termodinámica de 10.000x" que lograron en este frente. En general: Esto es más o menos lo que esperaba cuando comencé a pedir la salida de entrada hace 18 meses. Tenían una idea legítimamente genial para una pieza de hardware, pero no tenían un plan para hacerla útil, pero tenían algunos comienzos vagos de alguna investigación teórica que tenía la oportunidad de hacerla útil. Parece que han hecho un progreso respetable en la producción del hardware (la cantidad que le compran $ 30 millones), y aparentemente menos progreso en encontrar razones por las que este hardware en particular, incluso después de 10 generaciones de refinamientos sucesores, será útil para cualquiera. En el futuro, en lugar de responder a las preguntas sobre la entrada/salida de su dispositivo "molestando" a las personas y diciendo que es un secreto de la empresa, y tuiteando hipersticiones sobre su dios termodinámico, recomendaría ser más abierto sobre la pregunta aparentemente gigante de vida o muerte que la comunidad tecnológica podría estar interesada en ayudarlo a responder: si alguien puede escribir un programa Python en su simulador con evidencia más sólida de que algún tipo de "supremacía termodinámica" útil con su El concepto de hardware puede ser una cosa.

Supongo que algunos otros también aceptarán la misma caracterización errónea que tú, así que aclararé: Este no es un paso 1 en el camino hacia un paso 10 útil. Está avanzando agresivamente en hardware sin una historia teórica coherente, lo cual admiten. Está bien, es inusual estar tan bien financiado. Hay muchos proyectos de investigación en universidades con presupuestos reducidos que tienen una historia más coherente de lo que debe construirse y por qué.

@NGDPAB 2. Veo media página aquí, pero mi punto es que probar aceleraciones a pequeña escala simplemente no vale mucho. Todos lo sabemos.

Re: Bandera roja # 2, la exageración engañosa de "10,000x":

Como decía, el cuello de botella del éxito de Extrópic es la esperanza de que alguien salga de la nada con una aplicación útil de su idea improbable. Simplemente no es aconsejable quemar previamente $ 30M + cuando este mismo Ave María podría haberse hecho primero.