Coraz bardziej jestem przekonany, że RL i podobne techniki po prostu odkrywają na nowo, jak uczą się ludzie. Pomyśl o tym: Najpierw model jest wstępnie trenowany na formalnym języku (w zasadzie reguły gramatyki bezkontekstowej), co generuje "syntaktyczną podsieć" w modelu. Na tej podsieci "prawdziwy język" (zbiór danych z internetu) jest następnie nakładany w trakcie rzeczywistego treningu modelu (w kontekście języków formalnych nazywa się to zasadniczo gramatyką nieograniczoną). Ale potem... To jest ten sam sposób, w jaki ludzkie niemowlęta uczą się języka, prawda? Przychodzimy "wstępnie przeszkoleni" z syntaktyczną podsiecią do rozumienia podstawowej formy języka (rytm transferu informacji, proto-gramatyka), a następnie "nakładamy" na to rzeczywisty język, którego się uczymy. Fascynujące rzeczy!