El día de hoy marca un gran logro para Nous, pero también potencialmente para el panorama de la IA. Hemos comenzado una ejecución de preentrenamiento descentralizada de lo que es básicamente un Deepseek denso: 40B parámetros, más de 20T tokens, con MLA para la eficiencia del contexto a largo plazo. Todos los puntos de control, sin recocer, recocidos, el conjunto de datos, todo será de código abierto en vivo a medida que avanza el entrenamiento. Echa un vistazo al blog que lidera el equipo de Psyche @DillonRolnick, escribieron @theemozilla y Ari en el tuit para aprender *mucho* más sobre la infraestructura.