slop is in wezen inhoud die de beloning tot perplexiteit ratio maximaliseert. Mechanistisch gezien is dit beloningshack door de outputverdeling samen te voegen in een bekken met een paar Pareto-optimale patronen, wat in wezen een degeneratieve grammatica construeert die specifiek is voor deze trainingsopstelling.
Andrej Karpathy
Andrej Karpathy22 nov 2025
Heeft iemand een goede definitie van "slop" tegengekomen? In een kwantitatieve, meetbare zin. Mijn brein heeft een intuïtieve "slop index" die ik ~betrouwbaar kan schatten, maar ik weet niet zeker hoe ik het moet definiëren. Ik heb een paar slechte ideeën die het gebruik van LLM-miniseries en het denken aan tokenbudgetten omvatten.
Dit verklaart ook de vreemde gelijkenis tussen laagwaardige Indiase Engels en LLM-uitvoer, trouwens
67