Ich werde immer überzeugter, dass RL und ähnliche Techniken nur wiederentdecken, wie Menschen lernen. Denken Sie darüber nach: Zuerst wird ein Modell vortrainiert auf einer formalen Sprache (im Grunde genommen kontextfreie Grammatikregeln), die ein "syntaktisches Subnetz" innerhalb des Modells erzeugt. Auf dieses Subnetz wird dann die "echte Sprache" (Internet-Datensatz) während des tatsächlichen Modelltrainings überlagert (im Kontext formaler Sprachen wird dies im Grunde genommen als uneingeschränkte Grammatik bezeichnet). Aber dann... Das ist die gleiche Art, wie menschliche Babys Sprache lernen, oder? Wir kommen "vortrainiert" mit einem syntaktischen Subnetz zum Verständnis der grundlegenden Form von Sprache (Rhythmus der Informationsübertragung, Proto-Grammatik) und "legen" dann die tatsächliche Sprache, die wir lernen, darauf. Faszinierende Sachen!