Ik word steeds meer overtuigd dat RL en vergelijkbare technieken gewoon herontdekken hoe mensen leren. Denk er eens over na: Eerst wordt een model voorgetraind op een formele taal (basically context-free grammar rules) die een "syntactisch subnet" binnen het model genereert. Bovenop dit subnet wordt de "echte taal" (internetdataset) vervolgens superimposed tijdens de daadwerkelijke modeltraining (in de context van formele talen wordt dit basically een unrestricted grammar genoemd). Maar dan... Dit is dezelfde manier waarop menselijke baby's taal leren, toch? We komen "voorgetraind" met een syntactisch subnet voor het begrijpen van de basisvorm van taal (cadans van informatieoverdracht, proto-grammatica) en dan "leggen" we de daadwerkelijke taal die we leren bovenop. Fascinerende dingen!