Slop on käytännössä sisältöä, joka maksimoi palkinnon ja hämmennyksen suhteen. Mekanistisesti tämä on palkitsemishakkerointia, jossa ulostulojen jakautuminen on altaaseen muutamalla Pareto-optimaalisella mallilla, käytännössä rakentamalla rappeutuneen kieliopin, joka on spesifinen tälle harjoitusasetelmalle.
Andrej Karpathy
Andrej Karpathy22.11.2025
Onko kukaan kohdannut hyvän määritelmän sanalle "slop"? Määrällisesti, mitattavassa mielessä. Aivoillani on intuitiivinen "slop-indeksi", jonka voin ~luotettavasti arvioida, mutta en ole varma, miten määritellä se. Minulla on huonoja ideoita, jotka liittyvät LLM-minisarjojen käyttöön ja token-budjettien ajatteluun.
Tämä selittää myös hämmästyttävän samankaltaisuuden matalan tason intialaisen englannin ja LLM-tulosten välillä, muuten
79