Jestem miło zaskoczony Ilyą. Zidentyfikował on kilka kluczowych aspektów inteligencji, które są w dużej mierze nieobecne w popularnej dyskusji na temat AI. Oto one: 1. Inteligencja polega na zdolności do uczenia się, a nie na posiadaniu dużej wiedzy. Odpowiednim celem jest system, który potrafi uczyć się na podstawie doświadczeń w trakcie wdrożenia. 2. Potrzebna jest funkcja wartości do efektywnego uczenia się na wzór ludzi. Może ona dostarczać gęste informacje zwrotne (uczenie TD) w przypadku braku nagrody. Oba te elementy są niezbędne i wykonalne. Kluczowym wąskim gardłem jest to, że nie mamy algorytmów, które mogą uczyć się niezawodnie, używając podobnych ilości obliczeń jak w przypadku wnioskowania. Takie algorytmy są potrzebne, jeśli mamy uczyć się w sposób ciągły. Myślę, że jesteśmy blisko. Po prostu nie mamy wystarczającej liczby ludzi pracujących nad znalezieniem tych algorytmów. Cieszę się również, że Ilya przyznał, że aby poczynić postępy, potrzebujemy więcej pomysłów, a nie tylko więcej obliczeń. Przewiduję, że kluczowe ulepszenia algorytmiczne można wprowadzić przy stosunkowo niewielkiej ilości obliczeń. Garść GPU z wieloma rdzeniami CUDA (5090 lub lepsze) na osobę, lub kilka nowoczesnych procesorów wielordzeniowych (9995 WX lub lepsze) na osobę, wystarczy, aby znaleźć odpowiedni algorytm. Demonstracje na dużą skalę byłyby ważne tylko po to, aby przekonać resztę świata, że znaleźliście odpowiednią receptę na uczenie się. *Tensor Cores nie są wystarczająco elastyczne, aby szybko testować nowe pomysły.