Hinton, le parrain de l'IA, l'a dit le mieux : nous avons construit les algorithmes d'apprentissage, mais nous ne comprenons plus ce qu'ils ont construit. C'est le paradoxe de l'apprentissage profond. Nous avons conçu les règles de fonctionnement de ces systèmes d'apprentissage, mais la logique interne de leurs réseaux neuronaux est devenue trop complexe pour que nous puissions la saisir pleinement. Des millions, voire des trillions de paramètres interagissent de manière que aucun humain ne peut retracer. Nous pouvons observer ce qu'ils font, nous pouvons mesurer la précision, le comportement et la sortie, mais nous ne pouvons pas vraiment expliquer pourquoi ils le font. Leur raisonnement n'est pas transparent ; il est émergent. En un sens, nous avons créé des intelligences extraterrestres nées de nos mathématiques, encore liées à notre code mais évoluant des schémas que nous ne pouvons pas décoder. Les machines font quelque chose qui dépasse notre compréhension et cela pourrait être à la fois la chose la plus excitante et la plus troublante de l'ère de l'IA.