slop is in wezen inhoud die de beloning tot perplexiteit ratio maximaliseert. Mechanistisch gezien is dit beloningshack door de outputverdeling samen te voegen in een bekken met een paar Pareto-optimale patronen, wat in wezen een degeneratieve grammatica construeert die specifiek is voor deze trainingsopstelling.
Andrej Karpathy
Andrej Karpathy22 nov, 10:11
Heeft iemand een goede definitie van "slop" tegengekomen? In een kwantitatieve, meetbare zin. Mijn brein heeft een intuïtieve "slop index" die ik ~betrouwbaar kan schatten, maar ik weet niet zeker hoe ik het moet definiëren. Ik heb een paar slechte ideeën die het gebruik van LLM-miniseries en het denken aan tokenbudgetten omvatten.
Dit verklaart ook de vreemde gelijkenis tussen laagwaardige Indiase Engels en LLM-uitvoer, trouwens
29,94K