Philip Clark (@PJClark), partenaire chez Thrive Capital (@ThriveCapital), s'appuie sur des investissements dans OpenAI, Cursor, Physical Intelligence, et son expérience dans les semi-conducteurs pour exposer 3 grandes conclusions sur l'état du développement de l'IA : 1.) Les percées de l'IA ne sont pas linéaires. Elles se produisent par vagues architecturales, tout comme le silicium. L'analogie de Philip avec les semi-conducteurs reformule le progrès de l'IA comme une séquence de changements de paradigme semblables à du matériel. Lorsque l'un des chemins atteint sa limite (mono-cœur → multi-cœur ; pré-entraînement → post-entraînement), une nouvelle architecture émerge. L'IA n'évolue pas par un réglage incrémental... elle avance par des réinventions structurelles. 2.) L'apprentissage par renforcement est la prochaine ère architecturale (pour l'instant) Philip présente l'apprentissage par renforcement comme le successeur du post-entraînement : une nouvelle fondation, pas une optimisation. Mais il souligne qu'il ne sera pas le dernier. Tout comme le matériel a continué à passer de mono-cœur à multi-cœur puis aux GPU, l'IA connaîtra plusieurs vagues de paradigme, chacune débloquant de nouveaux plafonds de performance. L'apprentissage par renforcement est simplement la prochaine vague, pas la dernière. 3.) Le fossé d'OpenAI n'est pas dans les modèles... c'est sa capacité à continuer de découvrir le prochain paradigme. Philip soutient que l'avantage principal se situe en amont du produit : chaque grande percée architecturale dans les grands modèles a été originaire d'OpenAI. Leur défense provient de l'invention répétée de "la prochaine chose" tout en opérationnalisant simultanément la précédente... une combinaison rare dans n'importe quelle industrie, sans parler d'une industrie définie par des sauts discontinus. . . . Molly : "L'un des sponsors qui soutient fièrement Sourcery est @turingcom, et j'ai donc eu une exposition au côté recherche de l'IA—un accélérateur de recherche en IA [nous avons interviewé le PDG, @jonsidd]. Ils aident avec les modèles. Et en ce moment, ils remarquent un changement sévère au cours du dernier trimestre ou deux, passant des données d'imitation et des données synthétiques à l'apprentissage par renforcement. Je suis donc curieuse de savoir comment vous le voyez du côté technique, et aussi du côté application ?" Philip : "Je pense que l'IA est un peu comme les semi-conducteurs en un sens—si je peux revenir aux semi-conducteurs, le grand point de référence. Dans le sens où il y a beaucoup, beaucoup de vagues alors que nous essayons d'obtenir de meilleures performances. Vous savez, avec les semi-conducteurs, nous avions autrefois des semi-conducteurs mono-cœur. Puis nous ne pouvions plus vraiment tirer quoi que ce soit de plus d'un seul cœur, donc nous sommes passés au multi-cœur. Et ensuite, nous sommes passés aux GPU. Et je pense que nous voyons quelque chose de très similaire avec l'IA, qui est que nous avons commencé avec le pré-entraînement à l'époque de GPT-1, GPT-2, GPT-3. Cela nous a menés à GPT-4. Ensuite, nous avons commencé à utiliser beaucoup de techniques de post-entraînement pour ChatGPT—ajustement supervisé, apprentissage par renforcement avec retour humain. C'est ce qui a permis aux modèles d'être moins des intelligences étrangères et plus des assistants utiles. Et maintenant, alors qu'une grande partie des gains faciles a été exploitée (même s'il y a probablement encore beaucoup à faire), l'apprentissage par renforcement a été le prochain grand changement de paradigme dans l'IA et où beaucoup de ressources sont allouées....