Slop je v podstatě obsah, který maximalizuje poměr odměny k perplexitě. Mechanisticky jde o hacking odměn prostřednictvím shrnutí výstupní distribuce do bazénu s několika Pareto-optimálními vzory, čímž se v podstatě vytváří degenerovaná gramatika specifická pro toto tréninkové uspořádání.
Andrej Karpathy
Andrej Karpathy22. 11. 10:11
Narazil někdo na dobrou definici slova "slop"? V kvantitativním, měřitelném smyslu. Můj mozek má intuitivní "index slopou", který mohu ~spolehlivě odhadnout, ale nejsem si jistý, jak ho definovat. Mám pár špatných nápadů, které zahrnují použití LLM minisérií a myšlení na rozpočty tokenů.
To také vysvětluje neuvěřitelnou podobnost mezi nízkou indičtinou a výstupy z LLM, mimochodem
20,83K