J'ai demandé à @echen pourquoi Claude écrit (et code) tellement mieux que les autres modèles. Sa réponse : des données d'entraînement de meilleure qualité. "La plupart des gens ne comprennent même pas ce que signifie la qualité dans cet espace. Ils pensent qu'on peut simplement jeter des corps sur un problème et obtenir de bonnes données, et c'est complètement faux. Laissez-moi vous donner un exemple. Imaginez que vous vouliez entraîner un modèle à écrire un poème de huit vers sur la lune. Qu'est-ce qui en fait un bon poème ? Si vous ne réfléchissez pas profondément à la qualité, vous vous demanderez : est-ce un poème ? Contient-il huit vers ? Contient-il le mot lune ? Vous cochez toutes ces cases ? Alors oui, bien sûr, vous dites que c'est un grand poème. Mais c'est complètement différent de ce que nous voulons. Nous recherchons de la poésie digne d'un prix Nobel. Cette poésie est-elle unique ? Est-elle pleine d'images subtiles ? Vous surprend-elle et touche-t-elle votre cœur ? Vous apprend-elle quelque chose sur la nature de la lumière de la lune ? Joue-t-elle avec les émotions, et vous fait-elle réfléchir ? C'est à cela que nous pensons quand nous pensons à un poème de haute qualité."