Tôi ngày càng trở nên tin tưởng rằng RL và các kỹ thuật tương tự chỉ đang phát hiện lại cách mà con người học. Hãy nghĩ về điều đó: Đầu tiên, một mô hình được huấn luyện trước trên một ngôn ngữ chính thức (về cơ bản là các quy tắc ngữ pháp không ngữ cảnh) tạo ra một "subnet cú pháp" trong mô hình. Trên subnet này, "ngôn ngữ thực" (tập dữ liệu internet) sau đó được chồng lên trong quá trình huấn luyện mô hình thực tế (trong bối cảnh của các ngôn ngữ chính thức, điều này về cơ bản được gọi là ngữ pháp không hạn chế) Nhưng sau đó... Đây là cách mà những đứa trẻ sơ sinh học ngôn ngữ, phải không? Chúng ta đến với "subnet cú pháp" được huấn luyện trước để hiểu hình thức cơ bản của ngôn ngữ (nhịp điệu của việc truyền thông tin, proto-grammar) và sau đó "chồng" ngôn ngữ thực mà chúng ta học lên trên đó. Thật là những điều thú vị!