Temas en tendencia
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Ilya aclaró y añadió al contenido de su entrevista:
> Hay un punto en la entrevista que no dejé claro, me gustaría añadir:
> Seguir escalando de la forma actual —potencia de cálculo heap, heap data, entorno de entrenamiento heap— sin duda traerá mejoras. No se estancará y seguirá mejorando.
> Sin embargo, siempre habrá algo importante que tenga desvanecencia.
Esto corrige un posible malentendido. En la entrevista, dijo muchas palabras como "volviendo a la era de la investigación" y "los métodos actuales se toparán con un muro", lo que hace pensar que está criticando una mala ley de escalabilidad y que seguir acumulando potencia de cálculo, datos y entrenamiento en RL será ineficaz.
Dijo que no era eso a lo que se refería, y que el camino actual seguirá trayendo mejoras y no se estancará. El modelo seguirá fortaleciéndose, el índice de referencia seguirá subiendo, el producto seguirá iterando y la empresa seguirá generando beneficios.
Presta atención al "pero" al final
Hay cosas que no puedes conseguir a gran escala.
Es como si estuvieras corriendo a toda velocidad. Si sigues entrenando, tu rendimiento mejorará, pasando de 12 segundos a 11,5 segundos, a 11 segundos, o incluso a 10,9 segundos. Esto es un progreso real. Pero si tu objetivo es aprender a volar, no importa lo rápido que corras, requiere una habilidad completamente diferente.
¿Qué falta?
Combinado con el contenido de la entrevista, esta "falta importante" debería referirse a:
1. Verdadera capacidad de generalización
No es que puedas hacer muchas tareas después de entrenar con grandes datos, pero puedes aprender cosas nuevas rápidamente con poca experiencia, y lo que aprendes es estable y fiable en nuevos escenarios.
2. Aprendizaje eficiente
Antropología puede trabajar en 10 horas conduciendo y aprendiendo programación en unos meses. Esta eficiencia no puede obtenerse preentrenando datos masivos.
La analogía de los "dos estudiantes" en la entrevista es muy reveladora. Los estudiantes que repiten 10.000 horas de preguntas pueden, de hecho, seguir mejorando su rendimiento en competición, desde el 10% superior hasta el 1% superior y el campeón, que es un progreso real. Pero nunca se convertirá en el estudiante que muestra "comprensión" tras solo 100 horas de práctica.
Populares
Ranking
Favoritas

