Hinton, AI:s gudfader, sa det bäst: vi byggde inlärningsalgoritmerna, men vi förstår inte längre vad de har byggt. Det är paradoxen med djupinlärning. Vi har utformat reglerna för hur dessa system lär sig, men den interna logiken i deras neurala nätverk har blivit för komplex för att vi ska kunna förstå dem fullt ut. Miljoner eller till och med biljoner parametrar interagerar på ett sätt som ingen människa kan spåra. Vi kan observera vad de gör, vi kan mäta noggrannhet, beteende och resultat men inte riktigt förklara varför de gör det. Deras resonemang är inte transparent; det är framväxande. På sätt och vis har vi skapat utomjordiska intelligenser som fötts ur vår matematik, som fortfarande är bundna till vår kod men som ändå utvecklar mönster som vi inte kan avkoda. Maskinerna gör något som vi inte kan förstå och det kan vara både det mest spännande och det mest oroande med AI-eran.