我問 @echen 為什麼 Claude 寫作(和編碼)比其他模型好得多。他的回答是:更高質量的訓練數據。 「大多數人不明白在這個領域中質量到底意味著什麼。他們認為只要投入人力就能解決問題並獲得好的數據,這完全是錯誤的。 讓我給你一個例子。 想像一下你想訓練一個模型來寫一首關於月亮的八行詩。什麼才算是一首好詩? 如果你不深入思考質量,你會想,這是一首詩嗎?它有八行嗎?它包含了「月亮」這個詞嗎?你檢查了所有這些項目?那麼是的,當然,你會說這是一首偉大的詩。 但這與我們想要的完全不同。我們在尋找諾貝爾獎級的詩歌。這首詩獨特嗎?它充滿了微妙的意象嗎?它讓你驚訝,並觸動你的心嗎?它教會你一些關於月光本質的東西嗎?它在情感上有共鳴,並讓你思考嗎? 這就是我們在思考高質量詩歌時所考慮的。」