Pudimos reproducir los sólidos hallazgos del artículo de HRM sobre ARC-AGI-1. Además, realizamos una serie de experimentos de ablación para llegar al fondo de lo que hay detrás. Hallazgos clave: 1. La arquitectura del modelo HRM en sí misma (la pieza central del documento) no es un factor importante. 2. El ciclo de refinamiento externo (apenas mencionado en el documento) es el principal impulsor del rendimiento. 3. El aprendizaje por transferencia entre tareas no es muy útil. Lo que importa es la capacitación en las tareas en las que se evaluará. 4. Puede usar muchos menos aumentos de datos, especialmente en el momento de la inferencia. Los hallazgos 2 y 3 significan que este enfoque es un caso de *entrenamiento en tiempo de prueba previo cero*, similar al artículo recientemente publicado "ARC-AGI sin preentrenamiento" de Liao et al.
157.29K