O lançamento do Extropic de hoje levanta algumas novas bandeiras vermelhas. Comecei a seguir esta empresa quando eles se recusaram a explicar as especificações de entrada/saída do que estão construindo, deixando-nos esperando para obter esclarecimentos.) Aqui estão 3 bandeiras vermelhas de hoje: 1. Origem "A IA generativa é amostragem. Todos os algoritmos de IA generativa são essencialmente procedimentos para amostragem de distribuições de probabilidade. O treinamento de um modelo de IA generativa corresponde à inferência da distribuição de probabilidade subjacente a alguns dados de treinamento, e a execução da inferência corresponde à geração de amostras da distribuição aprendida. Como as TSUs são amostradas, elas podem executar algoritmos de IA generativa nativamente." Esta é uma afirmação altamente enganosa sobre os algoritmos que alimentam as IAs modernas mais úteis, no mesmo nível de iluminação a gás que chamar o cérebro humano de computador termodinâmico. IIUC, até onde se sabe, a maior parte do trabalho de computação de IA não corresponde ao tipo de entrada/saída que você pode alimentar no chip da Extropic. A página diz: "O próximo desafio é descobrir como combinar esses primitivos de uma forma que permita que os recursos sejam ampliados para algo comparável aos LLMs de hoje. Para fazer isso, precisaremos construir TSAs muito grandes e inventar novos algoritmos que possam consumir uma quantidade arbitrária de recursos de computação probabilística." Você realmente precisa construir grandes TSUs para pesquisar se é possível que aplicativos do tipo LLM se beneficiem desse hardware? Eu teria pensado que valeria a pena gastar algumas $million investigando essa questão por meio de uma combinação de teoria e hardware moderno de supercomputação em nuvem, em vez de gastar mais de US $ 30 milhões na construção de hardware que pode ser uma ponte para lugar nenhum. Sua própria documentação para seu THRML (sua biblioteca de código aberto) diz: "O THRML fornece ferramentas aceleradas por GPU para amostragem de blocos em gráficos esparsos e heterogêneos, tornando-o um lugar natural para prototipar hoje e experimentar o futuro hardware Extropic." Você está dizendo que não tem uma maneira de suas primitivas de hardware poderem *em princípio* ser aplicadas em aplicativos úteis de algum tipo, e você criou esta biblioteca para ajudar a fazer esse tipo de pesquisa usando as GPUs de hoje ... Por que você não lançaria a biblioteca Python mais cedo (THRML), faria a pesquisa de gargalo que você disse que precisa ser feita mais cedo e envolveria a comunidade para ajudá-lo a obter uma resposta para essa pergunta-chave agora? Por que você estava esperando todo esse tempo para lançar esse protótipo de hardware em pequena escala extremamente nicho para se apresentar explicando esse gargalo decisivo e apenas divulgar sua busca por parceiros em potencial que tenham algum tipo de "cargas de trabalho probabilísticas" relevantes agora, quando o custo de não fazer isso foi de US $ 30 milhões e 18 meses? 2. A partir de "Desenvolvemos um modelo de nossa arquitetura TSU e o usamos para estimar quanta energia seria necessária para executar o processo de redução de ruído mostrado na animação acima. O que descobrimos é que os DTMs executados em TSUs podem ser cerca de 10.000 vezes mais eficientes em termos de energia do que os algoritmos padrão de geração de imagens em GPUs." Já estou vendo pessoas no Twitter divulgando a afirmação de 10.000x. Mas para quem acompanhou a saga de décadas de empresas de computação quântica que afirmam alcançar a "supremacia quântica" com tipos semelhantes de números de hype, você sabe quanto cuidado é necessário para definir esse tipo de referência. Na prática, tende a ser extremamente difícil apontar situações em que uma abordagem de computação clássica *não é* muito mais rápida do que a alegada abordagem de "computação termodinâmica 10.000 vezes mais rápida". A equipe da Extropic sabe disso, mas optou por não elaborar o tipo de condições que poderiam reproduzir esse benchmark de hype que eles queriam ver viralizar. 3. A terminologia que eles estão usando foi alterada para "computador probabilístico": "Projetamos o primeiro computador probabilístico escalável do mundo". Até hoje, eles usavam "computador termodinâmico" como termo e afirmavam por escrito que "o cérebro é um computador termodinâmico". Pode-se dar a eles o benefício da dúvida por mudar sua terminologia. É só que eles estavam sempre falando bobagens sobre o cérebro ser um "computador termodinâmico" (na minha opinião, o cérebro não é isso nem um "computador quântico"; é muito mais um algoritmo de rede neural rodando em uma arquitetura de computador clássica). E esse súbito pivô de terminologia é consistente com eles terem falado bobagens nessa frente. Agora, para os pontos positivos: * Algum hardware realmente foi construído! * Eles explicam como sua entrada / saída potencialmente tem uma aplicação na redução de ruído, embora, como mencionado, sejam vagos sobre os detalhes da suposta "supremacia termodinâmica de 10.000x" que eles alcançaram nessa frente. Geral: Isso é mais ou menos o que eu esperava quando comecei a pedir a saída de entrada há 18 meses. Eles tiveram uma ideia legitimamente legal para uma peça de hardware, mas não tinham um plano para torná-la útil, mas tiveram alguns começos vagos de algumas pesquisas teóricas que tiveram a chance de torná-la útil. Eles parecem ter feito um progresso respeitável ao colocar o hardware em produção (a quantia que US $ 30 milhões compram para você) e, aparentemente, menos progresso em encontrar razões pelas quais esse hardware em particular, mesmo após 10 gerações de refinamentos sucessores, será útil para qualquer pessoa. Daqui para frente, em vez de responder a perguntas sobre a entrada/saída do seu dispositivo "mogging" as pessoas e dizendo que é um segredo da empresa, e twittando hiperstições sobre seu deus termodinâmico, eu recomendaria ser mais aberto sobre a questão de vida ou morte aparentemente gigante que a comunidade de tecnologia pode realmente estar interessada em ajudá-lo a responder: se alguém pode escrever um programa Python em seu simulador com evidências mais fortes de que algum tipo de "supremacia termodinâmica" útil com seu O conceito de hardware pode ser uma coisa.

Acho que alguns outros também vão se encaixar na mesma descaracterização que você, então vou esclarecer: Este não é um passo 1 no caminho para um passo 10 útil. Está avançando agressivamente no hardware sem uma história teórica coerente, o que eles admitem. Tudo bem, é incomum ser tão bem financiado. Existem muitos projetos de pesquisa em universidades com orçamentos apertados que têm uma história mais coerente do que precisa ser construído e por quê.

@NGDPAB 2. Vejo meia página aqui, mas meu ponto é que provar acelerações em pequena escala simplesmente não vale muito. Todos nós sabemos disso.

Re: Bandeira vermelha # 2, o hype enganoso de "10.000x":

Como eu estava dizendo, o gargalo para o sucesso da Extropic é a esperança de que alguém saia da toca com uma aplicação útil de sua ideia de tiro no escuro. É apenas desaconselhável pré-queimar $ 30 milhões + quando esta mesma Ave Maria poderia ter sido feita primeiro.