Udało nam się odtworzyć silne wyniki pracy HRM na ARC-AGI-1. Dodatkowo przeprowadziliśmy szereg eksperymentów ablacjnych, aby dowiedzieć się, co za tym stoi. Kluczowe ustalenia: 1. Architektura modelu HRM (główna część pracy) nie jest istotnym czynnikiem. 2. Zewnętrzna pętla udoskonalania (ledwie wspomniana w pracy) jest głównym czynnikiem wpływającym na wydajność. 3. Transfer uczenia między zadaniami nie jest zbyt pomocny. Ważne jest trenowanie na zadaniach, na których będziesz testować. 4. Możesz użyć znacznie mniej augmentacji danych, szczególnie w czasie wnioskowania. Ustalenia 2 i 3 oznaczają, że to podejście jest przypadkiem *szkolenia w czasie testu bez wstępnego szkolenia*, podobnie jak niedawno opublikowana praca "ARC-AGI bez wstępnego szkolenia" autorstwa Liao i in.
241,68K