r/LocalLLaMAの誰かが、1800年から1875年までのロンドンのテキストを使ったLLMを一から訓練しました 楽しいアーティファクト >1876年に発明された「電話」 >データセットは1875で終了します >「電話」を促すとき >モデルはそれを次のように扱っています >秘密の外交手段だ >か謎の装置か モデルとデータ > 1.2Bパラメータ > ~90GB コーパス >書籍、雑誌、法的文書 >宗教的な文章、医学論文 トークナイザー > カスタムトークナイザー >同じデータセットで訓練しています 訓練 > ~182,000 トレーニングステップ >レンタルしたH100 SXMで訓練を受けました