Ilya hat auf Twitter Klarstellungen und Ergänzungen zu seinem Interviewinhalt gemacht: > Es gibt einen Punkt im Interview, den ich nicht klar genug gesagt habe, hier eine Ergänzung: > Wenn wir weiterhin nach der jetzigen Methode skalieren – Rechenleistung, Daten und Trainingsumgebungen anhäufen – wird es definitiv Verbesserungen geben. Es wird nicht stagnieren, es wird weiterhin besser werden. > Aber es wird immer etwas Wichtiges fehlen. Das ist eine Korrektur eines möglichen Missverständnisses. Im Interview hat er viele Dinge gesagt wie „zurück zur Forschungszeit“ und „die aktuellen Methoden werden an ihre Grenzen stoßen“, was leicht den Eindruck erwecken kann, dass er die Skalierungsgesetze in Frage stellt und denkt, dass das Anhäufen von Rechenleistung, Daten und RL-Training scheitern wird. Er sagt, das ist nicht der Fall, der aktuelle Weg wird weiterhin Verbesserungen bringen, es wird nicht stagnieren. Die Modelle werden weiterhin stärker, die Benchmarks werden weiterhin steigen, die Produkte werden weiterhin iteriert, und das Unternehmen wird weiterhin Geld verdienen. Beachte das „aber“ am Ende. Es gibt einige Dinge, die du durch Skalierung nicht erreichen kannst. Das ist wie beim Sprinttraining. Wenn du weiter trainierst, wird sich deine Leistung verbessern, von 12 Sekunden auf 11,5 Sekunden, dann auf 11 Sekunden, sogar auf 10,9 Sekunden. Das ist ein echter Fortschritt. Aber wenn dein Ziel ist, fliegen zu lernen, dann nützt es nichts, wie schnell du rennst, dafür brauchst du ganz andere Fähigkeiten. Was fehlt? In Verbindung mit dem Interviewinhalt bezieht sich dieses "wichtige Fehlen" wahrscheinlich auf: 1. Echte Generalisierungsfähigkeit Es geht nicht darum, nach dem Training mit massiven Daten viele Aufgaben zu erledigen, sondern darum, aus wenigen Erfahrungen schnell Neues zu lernen und dass das Gelernte in neuen Szenarien stabil und zuverlässig ist. 2. Effizientes Lernen Menschen lernen, Auto zu fahren in 10 Stunden, und können nach ein paar Monaten Programmieren arbeiten. Diese Effizienz kann nicht durch das Vortrainieren mit massiven Daten erreicht werden. Die Analogie mit den „zwei Schülern“ im Interview verdeutlicht das Problem. Ein Schüler, der 10.000 Stunden Aufgaben bearbeitet, kann tatsächlich seine Wettkampfergebnisse verbessern, von den besten 10 % zu den besten 1 % bis hin zum Champion, das ist echter Fortschritt. Aber er wird niemals der Schüler sein, der nur 100 Stunden trainiert und „Einsicht“ zeigt.