Slop je v podstatě obsah, který maximalizuje poměr odměny k perplexitě. Mechanisticky jde o hacking odměn prostřednictvím shrnutí výstupní distribuce do bazénu s několika Pareto-optimálními vzory, čímž se v podstatě vytváří degenerovaná gramatika specifická pro toto tréninkové uspořádání.
Andrej Karpathy
Andrej Karpathy22. 11. 2025
Has anyone encountered a good definition of “slop”. In a quantitative, measurable sense. My brain has an intuitive “slop index” I can ~reliably estimate, but I’m not sure how to define it. I have some bad ideas that involve the use of LLM miniseries and thinking token budgets.
To také vysvětluje neuvěřitelnou podobnost mezi nízkou indičtinou a výstupy z LLM, mimochodem
57