Slop é basicamente conteúdo que maximiza a relação recompensa-perplexidade. Mecanicamente, isso é hacking de recompensas por meio do colapso da distribuição de saída em uma bacia com alguns padrões ótimos de Pareto, basicamente construindo uma gramática degenerada específica para esse sistema de treinamento.
Andrej Karpathy
Andrej Karpathy22 de nov., 10:11
Alguém já encontrou uma boa definição de "slop"? Em um sentido quantitativo e mensurável. Meu cérebro tem um "índice de slop" intuitivo que eu consigo estimar ~de forma confiável, mas não sei bem como defini-lo. Tenho algumas ideias ruins que envolvem o uso de minisséries de LLM e pensar em orçamentos de tokens.
Isso também explica a semelhança impressionante entre o inglês indiano de baixa qualidade e as saídas do LLM, aliás
33,3K