Philip Clark (@PJClark), socio de Thrive Capital (@ThriveCapital), se basa en inversiones en OpenAI, Cursor, Physical Intelligence y su experiencia en semiconductores para esbozar 3 grandes conclusiones sobre el estado del desarrollo de la IA: 1.) Los avances de la IA no son lineales. Vienen en olas arquitectónicas, al igual que el silicio. La analogía de Philip con los semiconductores recontextualiza el progreso de la IA como una secuencia de cambios de paradigma similares al hardware. Cuando un camino alcanza su límite (de un solo núcleo → múltiples núcleos; pre-entrenamiento → post-entrenamiento), surge una nueva arquitectura. La IA no está evolucionando a través de ajustes incrementales... está avanzando a través de reinvenciones estructurales. 2.) El aprendizaje por refuerzo es la próxima era arquitectónica (por ahora) Philip enmarca el aprendizaje por refuerzo como el sucesor del post-entrenamiento: una nueva base, no una optimización. Pero, críticamente, enfatiza que no será la última. Al igual que el hardware siguió saltando de un solo núcleo a múltiples núcleos y luego a GPUs, la IA experimentará múltiples olas de paradigma, cada una desbloqueando nuevos techos de rendimiento. El aprendizaje por refuerzo es simplemente la próxima ola, no la final. 3.) La ventaja competitiva de OpenAI no son los modelos... es su capacidad para seguir descubriendo el próximo paradigma. Philip argumenta que la ventaja central está aguas arriba del producto: cada gran avance arquitectónico en modelos grandes ha originado de OpenAI. Su defensa proviene de inventar repetidamente "la próxima cosa" mientras simultáneamente operacionalizan la anterior... una combinación rara en cualquier industria, y mucho menos en una definida por saltos discontinuos. . . . Molly: "Uno de los patrocinadores que orgullosamente apoya a Sourcery es @turingcom, y así he tenido exposición al lado de la investigación de IA—un acelerador de investigación de IA [hemos entrevistado al CEO, @jonsidd]. Ayudan con los modelos. Y en este momento, están notando un cambio severo en el último trimestre o dos, de datos de imitación y datos sintéticos a aprendizaje por refuerzo. Así que tengo curiosidad por saber cómo lo ves en el lado técnico, y luego también en el lado de la aplicación?" Philip: "Creo que la IA es un poco como los semiconductores en cierto sentido—si se me permite volver a los semiconductores, el gran punto de referencia. En el sentido de que hay muchas, muchas olas mientras intentamos obtener un mejor y mejor rendimiento. Sabes, con los semiconductores, solíamos tener semiconductores de un solo núcleo. Luego no pudimos básicamente exprimir nada más de un solo núcleo, así que pasamos a múltiples núcleos. Y luego pasamos a GPUs. Y creo que estamos viendo algo muy similar con la IA, que es que comenzamos con el pre-entrenamiento en la era de GPT-1, GPT-2, GPT-3. Eso nos llevó a GPT-4. Luego comenzamos a usar muchas técnicas de post-entrenamiento para ChatGPT—ajuste fino supervisado, aprendizaje por refuerzo con retroalimentación humana. Esto es lo que permitió que los modelos fueran menos inteligencias alienígenas y más asistentes útiles. Y ahora, a medida que se ha exprimido gran parte de la fruta fácil de esas ganancias (aunque probablemente aún hay mucho más por hacer), el aprendizaje por refuerzo ha sido el próximo gran cambio de paradigma en la IA y hacia donde van muchos de los recursos....