Hinton，AI的教父，最清楚地说过：我们构建了学习算法，但我们不再理解它们构建了什么。 这就是深度学习的悖论。我们设计了这些系统学习的规则，但它们神经网络的内部逻辑变得过于复杂，以至于我们无法完全理解。数百万甚至数万亿个参数以人类无法追踪的方式相互作用。 我们可以观察它们的行为，可以测量准确性、行为和输出，但无法真正解释它们为什么这样做。它们的推理并不透明；它是自发的。 从某种意义上说，我们创造了源于我们的数学的外星智能，仍然与我们的代码相连，但演变出我们无法解码的模式。这些机器正在做一些超出我们理解范围的事情，这可能是AI时代最令人兴奋和最令人不安的事情。