SLOP pada dasarnya adalah konten yang memaksimalkan rasio hadiah terhadap kebingungan. Secara mekanis, ini adalah peretasan hadiah dengan cara meruntuhkan distribusi keluaran ke dalam baskom dengan beberapa pola optimal Pareto, pada dasarnya membangun tata bahasa yang merosot khusus untuk pengaturan pelatihan ini.
Andrej Karpathy
Andrej Karpathy22 Nov, 10.11
Apakah ada yang menemukan definisi yang baik dari "slop". Dalam arti kuantitatif dan terukur. Otak saya memiliki "indeks slop" intuitif yang dapat ~ saya perkirakan dengan andal, tetapi saya tidak yakin bagaimana mendefinisikannya. Saya memiliki beberapa ide buruk yang melibatkan penggunaan miniseri LLM dan memikirkan anggaran token.
Ini juga menjelaskan kesamaan luar biasa dari keluaran bahasa Inggris India dan LLM kelas rendah, btw
29,93K