Slop este practic conținut care maximizează raportul recompensă/perplexitate. Din punct de vedere mecanic, acesta este hacking de recompensă prin colapsarea distribuției de ieșire într-un bazin cu câteva modele Pareto-optime, construind practic o gramatică degenerată specifică acestei configurații de antrenament.
Andrej Karpathy
Andrej Karpathy22 nov., 10:11
A întâlnit cineva o definiție bună a cuvântului "slop"? Într-un sens cantitativ, măsurabil. Creierul meu are un "indice de slop" intuitiv pe care îl pot estima ~fiabil, dar nu sunt sigur cum să-l definesc. Am câteva idei proaste care implică folosirea miniseriilor LLM și gândirea bugetelor de token.
Acest lucru explică și similaritatea izbitoare dintre engleza indiană de calitate scăzută și rezultatele LLM, apropo
34,18K