Jsem čím dál více přesvědčen, že reálné a podobné techniky jen znovu objevují, jak se lidé učí. Zamyslete se nad tím: Nejprve je model předtrénován na formálním jazyce (v podstatě bezkontextová gramatická pravidla), což generuje "syntaktickou podsíť" uvnitř modelu. Na tuto podsíť je pak "reálný jazyk" (internetová datasada) překryt v reálném trénování modelu (v kontextu formálních jazyků se tomu v podstatě říká neomezená gramatika) Ale pak... To je stejné, jak se lidské děti učí jazyk, ne? Přicházíme "předtrénováni" se syntaktickou podsítí pro pochopení základní formy jazyka (kadence přenosu informací, protogramatika) a pak na ni "vnucujeme" skutečný jazyk, který se naučíme. Fascinující věci!