Jag är positivt överraskad av Ilya. Han har identifierat några nyckelaspekter av intelligens som till stor del saknas i den populära AI-diskursen. Dessa är: 1. Intelligens handlar om förmågan att lära sig och inte om att veta många saker. Det rätta målet är ett system som kan lära sig av erfarenhet vid utplacering. 2. En värdefunktion behövs för människoliknande, proveffektiv inlärning. Den kan ge tät återkoppling (TD-inlärning) i avsaknad av belöning. Båda dessa är viktiga och genomförbara. En viktig flaskhals är att vi inte har algoritmer som kan lära sig pålitligt med liknande mängder beräkning som inferens. Sådana algoritmer behövs om vi ska kunna lära oss kontinuerligt. Jag tror vi är nära. Vi har helt enkelt inte tillräckligt många som arbetar med att hitta dessa algoritmer. Jag är också glad att Ilya erkände att för att göra framsteg behöver vi fler idéer och inte bara mer beräkningskraft. Jag skulle förutsäga att de viktigaste algoritmiska förbättringarna kan göras med en relativt liten mängd beräkning. Ett fåtal GPU:er med många CUDA-kärnor (5090 eller bättre) per person, eller ett par toppmoderna multicore-CPU:er (9995 WX eller bättre) per person, räcker för att hitta rätt algoritm. Storskaliga demonstrationer skulle bara vara viktiga för att övertyga resten av världen om att du har hittat rätt recept för lärande. *Tensorkärnor är inte tillräckligt flexibla för att snabbt prova nya idéer.