Ich habe @echen gefragt, warum Claude so viel besser schreibt (und codiert) als andere Modelle. Seine Antwort: qualitativ hochwertigere Trainingsdaten. "Die meisten Menschen verstehen nicht, was Qualität in diesem Bereich überhaupt bedeutet. Sie denken, man könnte einfach viele Leute auf ein Problem werfen und gute Daten erhalten, und das ist völlig falsch. Lass mich dir ein Beispiel geben. Stell dir vor, du möchtest ein Modell trainieren, um ein achtzeiliges Gedicht über den Mond zu schreiben. Was macht es zu einem guten Gedicht? Wenn du nicht tief über Qualität nachdenkst, wirst du denken: Ist das ein Gedicht? Enthält es acht Zeilen? Enthält es das Wort Mond? Hast du all diese Kästchen abgehakt? Dann sagst du ja, sicher, es ist ein großartiges Gedicht. Aber das ist völlig anders als das, was wir wollen. Wir suchen nach Nobelpreis-gekröntem Gedicht. Ist dieses Gedicht einzigartig? Ist es voller subtiler Bilder? Überrascht es dich und berührt dein Herz? Lehrt es dich etwas über die Natur des Mondlichts? Spielt es mit Emotionen und regt es zum Nachdenken an? Darüber denken wir nach, wenn wir an ein qualitativ hochwertiges Gedicht denken."