Чи навчаються люди, як трансформери? Це питання звучить майже філософсько, але Песно Леруссо та Саммерфілд перетворили його на суворий експеримент. Вони навчали як людей (n = 530), так і малі трансформаторні мережі одній задачі вивчення правил, а потім маніпулювали однією змінною: статистичним розподілом навчальних прикладів — від повністю різноманітних (кожен приклад унікальний) до дуже надлишкових (одні й ті ж елементи повторювалися знову і знову). Результат вражає. І люди, і трансформери мають майже однакову чутливість до цієї маніпуляції. Тренуйтеся на різноманітних даних, а учні узагальнюють правила для нових ситуацій («навчання в контексті»). Тренуйтеся на дублованих даних, і вони запам'ятовують конкретні приклади («навчання в вагах»). Перехід між стратегіями відбувається в одній критичній точці (показник Zipf α ≈ 1) як у біологічних, так і в штучних системах. Жоден із них не може легко робити обидва — доки не дасть їм складений розподіл, що поєднує різноманіття та дублювання, тоді і люди, і трансформери стають «подвійними навчами». Але ось де вони розходяться: люди отримують користь від навчальних програм. Якщо навести різноманітні приклади на ранньому етапі, люди відкриють узагальнене правило, не втрачаючи здатності запам'ятовувати пізніше. Трансформери, навпаки, страждають від катастрофічних перешкод — все, що вони дізнаються по-друге, переписує те, що було раніше. Наслідки як для ШІ, так і для освіти: структура навчальних даних має таке ж значення, як і їхній зміст. І хоча трансформери можуть несподівано відповідати людському навчанню, їм все одно бракує гнучкості, яка дозволяє нам користуватися добре спроєктованими навчальними програмами. Стаття: