Slop on käytännössä sisältöä, joka maksimoi palkinnon ja hämmennyksen suhteen. Mekanistisesti tämä on palkitsemishakkerointia, jossa ulostulojen jakautuminen on altaaseen muutamalla Pareto-optimaalisella mallilla, käytännössä rakentamalla rappeutuneen kieliopin, joka on spesifinen tälle harjoitusasetelmalle.
Andrej Karpathy
Andrej Karpathy22.11. klo 10.11
Onko kukaan kohdannut hyvän määritelmän sanalle "slop"? Määrällisesti, mitattavassa mielessä. Aivoillani on intuitiivinen "slop-indeksi", jonka voin ~luotettavasti arvioida, mutta en ole varma, miten määritellä se. Minulla on huonoja ideoita, jotka liittyvät LLM-minisarjojen käyttöön ja token-budjettien ajatteluun.
Tämä selittää myös hämmästyttävän samankaltaisuuden matalan tason intialaisen englannin ja LLM-tulosten välillä, muuten
29,95K