人类的学习方式是否像变压器一样？ 这是一个听起来几乎是哲学性的问题，但Pesnot Lerousseau和Summerfield将其转化为一个严格的实验。他们在同一个规则学习任务上训练了人类（n = 530）和小型变压器网络，然后操控了一个变量：训练示例的统计分布——从完全多样化（每个示例独特）到高度冗余（相同的项目反复出现）。 结果令人震惊。人类和变压器对这种操控表现出几乎相同的敏感性。在多样化数据上训练，学习者将规则推广到新情况（“上下文学习”）。在冗余数据上训练，他们记住特定示例（“权重学习”）。在生物系统和人工系统中，策略之间的转变发生在同一个关键点（Zipf指数α ≈ 1）。两者都不容易同时做到这一点——直到你给他们一个混合多样性和冗余的复合分布，此时人类和变压器都变成了“双重学习者”。 但它们在这里有所不同：人类从课程中受益。早期呈现多样化示例，人们会发现可推广的规则，而不会失去后期记忆的能力。相比之下，变压器则遭受灾难性干扰——他们第二次学习的内容会覆盖第一次学习的内容。 对AI和教育的启示是：训练数据的结构与其内容同样重要。尽管变压器在令人惊讶的方式上可能与人类学习相匹配，但它们仍然缺乏让我们从精心设计的课程中受益的灵活性。 论文：