Fajna kontynuacja naszej pracy nad Fizycznym Atari. Ludzie, którzy używali RL tylko w szybkich i prostych symulowanych środowiskach, w dużym stopniu nie doceniają złożoności rzeczywistego świata; kończą z celami badawczymi, które nie mogą być osiągnięte w złożonych środowiskach (np. zero-shot generalization, uczenie modeli przyczynowych). Fizyczne Atari wciąż jest niezwykle prostym środowiskiem, a jednak wystarcza, aby uwydatnić ograniczenia metod, które zostały opracowane do uczenia się w szybkich symulacjach. Ludzie i zwierzęta uczą się w środowiskach, które są rzędy wielkości bardziej złożone niż Fizyczne Atari. Opracowanie algorytmów, które mogą to samo robić, powinno być celem, jeśli chcemy obfitej inteligencji.

Jestem miło zaskoczony Ilyą. Zidentyfikował on kilka kluczowych aspektów inteligencji, które są w dużej mierze nieobecne w popularnej dyskusji na temat AI. Oto one: 1. Inteligencja polega na zdolności do uczenia się, a nie na posiadaniu dużej wiedzy. Odpowiednim celem jest system, który potrafi uczyć się na podstawie doświadczeń w trakcie wdrożenia. 2. Potrzebna jest funkcja wartości do efektywnego uczenia się na wzór ludzi. Może ona dostarczać gęste informacje zwrotne (uczenie TD) w przypadku braku nagrody. Oba te elementy są niezbędne i wykonalne. Kluczowym wąskim gardłem jest to, że nie mamy algorytmów, które mogą uczyć się niezawodnie, używając podobnych ilości obliczeń jak w przypadku wnioskowania. Takie algorytmy są potrzebne, jeśli mamy uczyć się w sposób ciągły. Myślę, że jesteśmy blisko. Po prostu nie mamy wystarczającej liczby ludzi pracujących nad znalezieniem tych algorytmów. Cieszę się również, że Ilya przyznał, że aby poczynić postępy, potrzebujemy więcej pomysłów, a nie tylko więcej obliczeń. Przewiduję, że kluczowe ulepszenia algorytmiczne można wprowadzić przy stosunkowo niewielkiej ilości obliczeń. Garść GPU z wieloma rdzeniami CUDA (5090 lub lepsze) na osobę, lub kilka nowoczesnych procesorów wielordzeniowych (9995 WX lub lepsze) na osobę, wystarczy, aby znaleźć odpowiedni algorytm. Demonstracje na dużą skalę byłyby ważne tylko po to, aby przekonać resztę świata, że znaleźliście odpowiednią receptę na uczenie się. *Tensor Cores nie są wystarczająco elastyczne, aby szybko testować nowe pomysły.