Czy ludzie uczą się jak transformatory? To pytanie brzmi niemal filozoficznie, ale Pesnot Lerousseau i Summerfield przekształcili je w rygorystyczny eksperyment. Szkolili zarówno ludzi (n = 530), jak i małe sieci transformatorowe na tym samym zadaniu uczenia się reguł, a następnie manipulowali jedną zmienną: statystycznym rozkładem przykładów treningowych—od całkowicie zróżnicowanych (każdy przykład unikalny) do wysoce redundantnych (te same elementy powtarzane w kółko). Wynik jest uderzający. Zarówno ludzie, jak i transformatory wykazują niemal identyczną wrażliwość na tę manipulację. Trenując na zróżnicowanych danych, uczniowie generalizują reguły do nowych sytuacji ("uczenie się w kontekście"). Trenując na danych redundantnych, zapamiętują konkretne przykłady ("uczenie się w wagach"). Przejście między strategiami następuje w tym samym krytycznym punkcie (wykładnik Zipfa α ≈ 1) zarówno w systemach biologicznych, jak i sztucznych. Żaden z nich nie może łatwo robić obu rzeczy—dopóki nie podasz im złożonego rozkładu łączącego różnorodność i redundancję, w którym to momencie zarówno ludzie, jak i transformatory stają się "podwójnymi uczniami." Ale tutaj się różnią: ludzie korzystają z programów nauczania. Prezentując różnorodne przykłady na początku, ludzie odkrywają ogólną regułę bez utraty zdolności do zapamiętywania później. Transformatory, w przeciwieństwie do tego, cierpią na katastrofalną interferencję—cokolwiek nauczą się drugie, nadpisuje to, co przyszło pierwsze. Implikacja dla AI i edukacji: struktura danych treningowych ma znaczenie tak samo jak ich treść. I chociaż transformatory mogą w zaskakujący sposób dorównywać ludzkiemu uczeniu się, wciąż brakuje im elastyczności, która pozwala nam korzystać z dobrze zaprojektowanych programów nauczania. Artykuł: