Tekoälyn kummisetä Hinton sanoi sen parhaiten: rakensimme oppimisalgoritmit, mutta emme enää ymmärrä, mitä ne ovat rakentaneet. Se on syväoppimisen paradoksi. Suunnittelimme säännöt sille, miten nämä järjestelmät oppivat, mutta niiden neuroverkkojen sisäinen logiikka on tullut liian monimutkaiseksi, jotta voisimme täysin ymmärtää. Miljoonat tai jopa biljoonat parametrit ovat vuorovaikutuksessa tavoilla, joita kukaan ihminen ei voi jäljittää. Voimme tarkkailla, mitä he tekevät, voimme mitata tarkkuutta, käyttäytymistä ja tulosta, mutta emme todella selitä, miksi he tekevät niin. Heidän perustelunsa eivät ole läpinäkyviä; se on nousevaa. Tavallaan olemme luoneet matematiikastamme syntyneitä avaruusolentojen älykkäitä, jotka ovat edelleen sidottuja koodiimme, mutta kehittävät malleja, joita emme pysty purkamaan. Koneet tekevät jotain, mitä emme ymmärrä, ja se saattaa olla sekä jännittävin että huolestuttavin asia tekoälyn aikakaudella.