La Hipótesis del Subespacio de Peso Universal Nuestros hallazgos ofrecen nuevas perspectivas sobre la organización intrínseca de la información dentro de redes profundas y plantean preguntas importantes sobre la posibilidad de descubrir estos subespacios universales sin la necesidad de grandes cantidades de datos y recursos computacionales. ... al realizar descomposiciones espectrales capa por capa y retener solo las direcciones principales más relevantes, se puede extraer una aproximación precisa de estos subespacios universales. Empíricamente, este comportamiento surge de manera amplia: en modelos completamente ajustados y adaptadores basados en LoRA, en modelos entrenados desde cero, en configuraciones tanto generativas como discriminativas, y en configuraciones multimodales. Además, los subespacios aproximados se generalizan a tareas fuera de distribución, donde proyectar modelos y aprender solo un pequeño conjunto de coeficientes es suficiente para recuperar un rendimiento sólido. Esto permite adaptarse a nuevas tareas sin necesidad de reentrenar o almacenar pesos completos, y apoya un aprendizaje robusto de múltiples tareas, un ajuste fino escalable y una fusión de modelos fundamentada dentro de un único marco unificador. Las implicaciones prácticas son sustanciales. Al reutilizar un conjunto común de direcciones principales capa por capa y aprender solo coeficientes ligeros por tarea, se pueden extender y servir grandes modelos con una reducción drástica en la sobrecarga computacional, de memoria y de ingeniería. ... podemos reciclar y reemplazar efectivamente los modelos preentrenados disponibles con un modelo de subespacio universal, donde cada individuo está representado por un conjunto escaso de coeficientes. En esta sección, mostramos un conjunto de experimentos donde utilizamos los subespacios universales para aprender nuevas tareas congelando los componentes y simplemente aprendiendo los coeficientes utilizando descenso de gradiente. Encontramos que, dado que solo estamos aprendiendo los coeficientes, se reduce drásticamente el número de parámetros requeridos para entrenar los nuevos modelos. Además, dado que estos coeficientes son simplemente valores de escalado lineal, la optimización es más suave y rápida.

Esto acaba de aparecer en mi feed, de hace aproximadamente 1 año - ¡se ve bastante sólido! @davidpgoldman

Richard Feynman y el yo de 19 años en mi graduación de Caltech. Nano Banana (Gemini) limpió esta imagen - eliminando marcas de rasguños. Original: