slop to w zasadzie treść, która maksymalizuje stosunek nagrody do złożoności. Mechanicznie, jest to hakowanie nagrody poprzez zbieganie rozkładu wyników do basenu z kilkoma wzorcami Pareto-optymalnymi, zasadniczo konstruując degeneracyjną gramatykę specyficzną dla tego ustawienia treningowego.
Andrej Karpathy
Andrej Karpathy22 lis 2025
Has anyone encountered a good definition of “slop”. In a quantitative, measurable sense. My brain has an intuitive “slop index” I can ~reliably estimate, but I’m not sure how to define it. I have some bad ideas that involve the use of LLM miniseries and thinking token budgets.
To również wyjaśnia niezwykłe podobieństwo między niskiej jakości angielskim z Indii a wynikami LLM, nawiasem mówiąc.
52