Я спросил @echen, почему Клод пишет (и кодирует) намного лучше, чем другие модели. Его ответ: более качественные обучающие данные. "Большинство людей не понимают, что такое качество в этой области. Они думают, что можно просто бросить людей на проблему и получить хорошие данные, и это совершенно неправильно. Позвольте привести вам пример. Представьте, что вы хотите обучить модель писать восьмистрочное стихотворение о луне. Что делает его хорошим стихотворением? Если вы не задумываетесь глубоко о качестве, вы будете думать: это стихотворение? Содержит ли оно восемь строк? Содержит ли оно слово 'луна'? Вы проверяете все эти пункты? Так что да, конечно, вы говорите, что это великое стихотворение. Но это совершенно другое от того, что мы хотим. Мы ищем поэзию, удостоенную Нобелевской премии. Является ли эта поэзия уникальной? Полна ли она тонких образов? Удивляет ли она вас и трогает ваше сердце? Учит ли она вас чему-то о природе лунного света? Играет ли она с эмоциями и заставляет ли вас задуматься? Вот о чем мы думаем, когда говорим о высококачественном стихотворении."