Nous avons entraîné un modèle de langage non supervisé capable de générer des paragraphes cohérents et d'effectuer une compréhension de lecture rudimentaire, de la traduction automatique, de la réponse à des questions et de la synthèse — le tout sans entraînement spécifique à la tâche :