Fukushimas video (1986) visar en CNN som känner igen handskrivna siffror [3], tre år före LeCuns video (1989). CNN:s tidslinje hämtad från [5]: ★ 1969: Kunihiko Fukushima publicerade rektifierade linjära enheter eller ReLU [1] som nu används i stor utsträckning i CNN. ★ 1979: Fukushima publicerade den grundläggande CNN-arkitekturen med konvolutionslager och nedsamplingslager [2]. Han kallade det neokognitron. Den tränades enligt regler för oövervakad inlärning. Beräkning var hundra gånger dyrare än 1989 och en miljard gånger dyrare än idag. ★ 1986: Fukushimas video om att känna igen handskrivna siffror [3]. ★ 1988: Wei Zhang et al. lät den första "moderna" tvådimensionella CNN tränas med backpropagation och tillämpade den även för teckenigenkänning [4]. Beräkningar var ungefär 10 miljoner gånger dyrare än idag. ★ 1989-: senare verk av andra [5]. REFERENSER (mer i [5]) [1] K. Fukushima (1969). Visuell funktionsextraktion med ett flerskiktat nätverk av analoga tröskelelement. IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322-333. Detta arbete introducerade rektifierade linjära enheter eller ReLU:er, som nu används i stor utsträckning i CNN och andra neurala nätverk. [2] K. Fukushima (1979). Neural nätverksmodell för en mekanism för mönsterigenkänning som inte påverkas av positionsförskjutning—Neocognitron. Övers. IECE, vol. J62-A, nr 10, s. 658-665, 1979. Den första djupa konvolutionella neurala nätverksarkitekturen, med alternerande konvolutionella lager och nedsamplingslager. På japanska. Engelsk version: 1980. [3] Film producerad av K. Fukushima, S. Miyake och T. Ito (NHK Science and Technical Research Laboratories), år 1986. YouTube: [4] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. Skiftinvariant mönsterigenkänning av neurala nätverk och dess optiska arkitektur. Proc. Årskonferens för Japan Society of Applied Physics, 1988. Första "moderna" backpropagationstränade tvådimensionella CNN, tillämpad på teckenigenkänning. [5] J. Schmidhuber (AI Blog, 2025). Vem uppfann konvolutionella neurala nätverk?