Hinton, ayah baptis AI, mengatakannya dengan baik: kami membangun algoritme pembelajaran, tetapi kami tidak lagi memahami apa yang telah mereka bangun. Itulah paradoks dari pembelajaran mendalam. Kami merancang aturan tentang bagaimana sistem ini belajar, namun logika internal jaringan saraf mereka telah menjadi terlalu kompleks untuk kita pahami sepenuhnya. Jutaan atau bahkan triliunan parameter berinteraksi dengan cara yang tidak dapat dilacak oleh manusia. Kita dapat mengamati apa yang mereka lakukan, kita dapat mengukur akurasi, perilaku, dan output tetapi tidak benar-benar menjelaskan mengapa mereka melakukannya. Alasan mereka tidak transparan; itu muncul. Dalam arti tertentu, kita telah menciptakan kecerdasan alien yang lahir dari matematika kita, masih terikat pada kode kita namun pola berkembang yang tidak dapat kita dekode. Mesin melakukan sesuatu di luar pemahaman kita dan itu mungkin hal yang paling menarik dan paling meresahkan tentang era AI.