Cooles Follow-up zu unserer Physical Atari-Arbeit. Menschen, die nur mit RL in schnellen und einfachen simulierten Umgebungen gearbeitet haben, unterschätzen die Komplexität der realen Welt erheblich; sie entwickeln letztendlich Forschungsziele, die in komplexen Umgebungen nicht erreicht werden können (z. B. Zero-Shot-Generalisation, Lernen kausaler Modelle). Physical Atari ist immer noch eine extrem einfache Umgebung und doch reicht sie aus, um die Einschränkungen der Methoden aufzuzeigen, die für das Lernen mit schnellen Simulationen entwickelt wurden. Menschen und Tiere lernen in Umgebungen, die um Größenordnungen komplexer sind als Physical Atari. Algorithmen zu entwickeln, die dasselbe tun können, sollte das Ziel sein, wenn wir reichlich Intelligenz wollen.

Ich bin angenehm überrascht von Ilya. Er hat einige Schlüsselaspekte der Intelligenz identifiziert, die im populären AI-Diskurs weitgehend fehlen. Diese sind: 1. Intelligenz bedeutet die Fähigkeit zu lernen und nicht, viele Dinge zu wissen. Das richtige Ziel ist ein System, das aus Erfahrungen im Einsatz lernen kann. 2. Eine Wertfunktion ist notwendig für ein menschenähnliches, sample-effizientes Lernen. Sie kann dichte Rückmeldungen (TD-Lernen) in Abwesenheit von Belohnungen geben. Beides ist wesentlich und machbar. Ein entscheidender Engpass ist, dass wir keine Algorithmen haben, die zuverlässig lernen können, während sie ähnliche Rechenressourcen wie bei der Inferenz verwenden. Solche Algorithmen sind notwendig, wenn wir kontinuierlich lernen wollen. Ich denke, wir sind nah dran. Wir haben nur nicht genug Menschen, die daran arbeiten, diese Algorithmen zu finden. Ich freue mich auch, dass Ilya anerkannt hat, dass wir für Fortschritte mehr Ideen und nicht nur mehr Rechenleistung benötigen. Ich würde vorhersagen, dass die entscheidenden algorithmischen Verbesserungen mit einer relativ kleinen Menge an Rechenleistung erzielt werden können. Eine Handvoll GPUs mit vielen CUDA-Kernen (5090 oder besser) pro Person oder ein paar hochmoderne Multicore-CPUs (9995 WX oder besser) pro Person sind ausreichend, um den richtigen Algorithmus zu finden. Großangelegte Demonstrationen wären nur wichtig, um den Rest der Welt davon zu überzeugen, dass Sie das richtige Rezept für das Lernen gefunden haben. *Tensor-Kerne sind nicht flexibel genug, um neue Ideen schnell auszuprobieren.