Les humains apprennent-ils comme des transformateurs ? C'est une question qui semble presque philosophique, mais Pesnot Lerousseau et Summerfield l'ont transformée en une expérience rigoureuse. Ils ont formé à la fois des humains (n = 530) et de petits réseaux de transformateurs sur la même tâche d'apprentissage de règles, puis ont manipulé une seule variable : la distribution statistique des exemples d'entraînement - d'une diversité totale (chaque exemple unique) à une redondance élevée (les mêmes éléments répétés encore et encore). Le résultat est frappant. Tant les humains que les transformateurs montrent une sensibilité presque identique à cette manipulation. En s'entraînant sur des données diverses, les apprenants généralisent des règles à des situations nouvelles ("apprentissage en contexte"). En s'entraînant sur des données redondantes, ils mémorisent des exemples spécifiques ("apprentissage en poids"). La transition entre les stratégies se produit au même point critique (exposant de Zipf α ≈ 1) dans les systèmes biologiques et artificiels. Aucun des deux ne peut facilement faire les deux - jusqu'à ce que vous leur donniez une distribution composite mélangeant diversité et redondance, moment auquel tant les humains que les transformateurs deviennent des "apprenants doubles." Mais voici où ils divergent : les humains bénéficient de curricula. Présentez des exemples divers au début, et les gens découvrent la règle généralisable sans perdre la capacité de mémoriser plus tard. Les transformateurs, en revanche, souffrent d'interférences catastrophiques - tout ce qu'ils apprennent en second écrase ce qui est venu en premier. L'implication pour l'IA et l'éducation est la suivante : la structure des données d'entraînement compte autant que son contenu. Et bien que les transformateurs puissent égaler l'apprentissage humain de manière surprenante, ils manquent toujours de la flexibilité qui nous permet de bénéficier de curricula bien conçus. Article :