Estoy cada vez más convencido de que el RL y técnicas similares están redescubriendo cómo aprenden los humanos. Piénsalo: Primero, un modelo se preentrena en un lenguaje formal (básicamente reglas de gramática libre de contexto) que genera una "subred sintáctica" dentro del modelo. Sobre esta subred se superpone el "lenguaje real" (conjunto de datos de internet) en el entrenamiento real del modelo (en el contexto de lenguajes formales, esto se llama básicamente una gramática no restringida). Pero entonces... ¿Esta es la misma forma en que los bebés humanos aprenden el lenguaje, no? Venimos "preentrenados" con una subred sintáctica para entender la forma básica del lenguaje (cadencia de transferencia de información, proto-gramática) y luego "imponemos" el lenguaje real que aprendemos sobre ello. ¡Cosas fascinantes!