Philip Clark (@PJClark), partner bij Thrive Capital (@ThriveCapital), put zijn investeringen in OpenAI, Cursor, Physical Intelligence en zijn achtergrond in halfgeleiders aan om 3 belangrijke conclusies over de staat van AI-ontwikkeling te schetsen: 1.) Doorbraken in AI zijn niet lineair. Ze komen in architectonische golven, net als silicium. Philip's analogie met halfgeleiders herformuleert de vooruitgang van AI als een reeks paradigmaverschuivingen die lijken op hardware. Wanneer één pad zijn limiet bereikt (single-core → multi-core; pre-training → post-training), verschijnt er een nieuwe architectuur. AI evolueert niet door incrementele afstemming.. het vordert door structurele heruitvindingen. 2.) Versterkend leren is het volgende architectonische tijdperk (voor nu) Philip beschouwt versterkend leren als de opvolger van post-training: een nieuwe basis, geen optimalisatie. Maar cruciaal is dat hij benadrukt dat het niet de laatste zal zijn. Net zoals hardware bleef springen van single-core naar multi-core naar GPU's, zal AI meerdere paradigmaverschuivingen ervaren, waarbij elke nieuwe prestatiegrenzen ontgrendelt. Versterkend leren is simpelweg de volgende golf, niet de laatste. 3.) OpenAI's verdedigingslinie zijn niet de modellen.. het is hun vermogen om de volgende paradigma te blijven ontdekken. Philip stelt dat het belangrijkste voordeel stroomopwaarts van het product ligt: elke grote architectonische doorbraak in grote modellen is ontstaan uit OpenAI. Hun verdedigbaarheid komt voort uit het herhaaldelijk uitvinden van "het volgende ding" terwijl ze tegelijkertijd het vorige operationaliseren.. een zeldzame combinatie in welke industrie dan ook, laat staan in een industrie die wordt gekenmerkt door discontinuïteit. . . . Molly: "Een van de sponsors die trots Sourcery sponsort is @turingcom, en dus heb ik blootstelling gekregen aan de AI-onderzoekszijde van zaken—een AI-onderzoeksaccelerator [we hebben CEO, @jonsidd, geïnterviewd]. Ze helpen met de modellen. En op dit moment merken ze een ernstige verschuiving in het afgelopen kwartaal of twee van imitatiegegevens en synthetische gegevens naar versterkend leren. Dus ik ben benieuwd hoe jij het aan de technische kant ziet, en dan ook aan de toepassingskant?" Philip: "Ik denk dat AI een beetje zoals halfgeleiders is in die zin—als ik terug mag gaan naar halfgeleiders, de grote referentie. In de zin dat er veel, veel golven zijn terwijl we proberen betere prestaties te krijgen. Je weet wel, met halfgeleiders hadden we vroeger single-core halfgeleiders. Toen konden we eigenlijk niets meer uit een enkele kern persen, en dus gingen we naar multi-core. En toen gingen we naar GPU's. En ik denk dat we iets heel vergelijkbaars zien met AI, wat is dat we begonnen met pre-training in het GPT-1, GPT-2, GPT-3 tijdperk. Dat bracht ons naar GPT-4. Toen begonnen we veel post-training technieken te gebruiken voor ChatGPT—gecontroleerde fine-tuning, versterkend leren met menselijke feedback. Dit is wat de modellen minder vreemde intelligenties en meer behulpzame assistenten maakte. En nu, terwijl veel van de laaghangende vruchten van die winsten zijn geplukt (ook al is er waarschijnlijk nog veel meer te doen), is versterkend leren de volgende grote paradigmaverschuiving in AI en waar veel van de middelen naartoe gaan....