Нам удалось воспроизвести сильные результаты статьи HRM по ARC-AGI-1. Кроме того, мы провели серию абляционных экспериментов, чтобы разобраться в причинах этого. Ключевые выводы: 1. Архитектура модели HRM сама по себе (центральный элемент статьи) не является важным фактором. 2. Внешний цикл уточнения (едва упомянутый в статье) является основным двигателем производительности. 3. Перенос обучения между задачами не очень полезен. Важно обучаться на тех задачах, на которых вы будете тестировать. 4. Вы можете использовать гораздо меньшее количество увеличений данных, особенно во время вывода. Выводы 2 и 3 означают, что этот подход является примером *обучения в тестовом режиме без предварительного обучения*, аналогично недавно опубликованной статье "ARC-AGI без предварительного обучения" Ляо и др.
196,84K