Philip Clark (@PJClark), Partner bei Thrive Capital (@ThriveCapital), nutzt seine Investitionen in OpenAI, Cursor, Physical Intelligence und seinen Hintergrund in der Halbleiterindustrie, um 3 wichtige Erkenntnisse über den Stand der KI-Entwicklung zu skizzieren: 1.) Die Durchbrüche der KI sind nicht linear. Sie kommen in architektonischen Wellen, genau wie Silizium. Philips Halbleiter-Analogie stellt den Fortschritt der KI als eine Abfolge von hardwareähnlichen Paradigmenwechseln dar. Wenn ein Weg seine Grenzen erreicht (Single-Core → Multi-Core; Pre-Training → Post-Training), entsteht eine neue Architektur. KI entwickelt sich nicht durch inkrementelle Anpassungen weiter.. sie schreitet durch strukturelle Neuerfindungen voran. 2.) Reinforcement Learning ist die nächste architektonische Ära (vorerst) Philip betrachtet Reinforcement Learning als den Nachfolger des Post-Trainings: eine neue Grundlage, keine Optimierung. Aber entscheidend betont er, dass es nicht die letzte sein wird. So wie die Hardware von Single-Core zu Multi-Core zu GPUs sprang, wird die KI mehrere Paradigmenwellen erleben, die jeweils neue Leistungsgrenzen freischalten. Reinforcement Learning ist einfach die nächste Welle, nicht die letzte. 3.) OpenAIs Schutzschild sind nicht die Modelle.. es ist die Fähigkeit, das nächste Paradigma ständig zu entdecken. Philip argumentiert, dass der Kernvorteil vor dem Produkt liegt: Jeder große architektonische Durchbruch in großen Modellen stammt von OpenAI. Ihre Verteidigungsfähigkeit kommt davon, dass sie immer wieder "das nächste Ding" erfinden, während sie gleichzeitig das vorherige operationalisieren.. eine seltene Kombination in jeder Branche, geschweige denn in einer, die durch diskontinuierliche Sprünge definiert ist. . . . Molly: "Einer der Sponsoren, die stolz Sourcery unterstützen, ist @turingcom, und so habe ich Einblicke in die KI-Forschung erhalten—ein KI-Forschungsbeschleuniger [wir haben den CEO, @jonsidd, interviewt]. Sie helfen bei den Modellen. Und im Moment bemerken sie einen starken Wandel im letzten Quartal oder zwei von Imitationsdaten und synthetischen Daten zu Reinforcement Learning. Ich bin also neugierig, wie du es auf der technischen Seite siehst, und dann auch auf der Anwendungsseite?" Philip: "Ich denke, KI ist ein bisschen wie Halbleiter in dem Sinne—wenn ich erlaubt bin, auf Halbleiter zurückzukommen, der große Bezugspunkt. In dem Sinne, dass es viele, viele Wellen gibt, während wir versuchen, immer bessere Leistungen zu erzielen. Weißt du, bei Halbleitern hatten wir früher Single-Core-Halbleiter. Dann konnten wir im Grunde nichts mehr aus einem einzelnen Kern herausholen, und so gingen wir zu Multi-Core. Und dann gingen wir zu GPUs. Und ich denke, wir sehen etwas sehr Ähnliches bei der KI, nämlich dass wir mit Pre-Training in der Ära von GPT-1, GPT-2, GPT-3 begonnen haben. Das führte uns zu GPT-4. Dann begannen wir, viele Post-Training-Techniken für ChatGPT zu verwenden—überwachtes Feintuning, Reinforcement Learning mit menschlichem Feedback. Das hat es den Modellen ermöglicht, weniger fremde Intelligenzen und mehr hilfreiche Assistenten zu sein. Und jetzt, da viel von den leicht erreichbaren Gewinnen ausgeschöpft wurde (auch wenn es wahrscheinlich noch viel mehr zu tun gibt), war Reinforcement Learning der nächste große Paradigmenwechsel in der KI und wo viele Ressourcen hingehen....