slop to w zasadzie treść, która maksymalizuje stosunek nagrody do złożoności. Mechanicznie, jest to hakowanie nagrody poprzez zbieganie rozkładu wyników do basenu z kilkoma wzorcami Pareto-optymalnymi, zasadniczo konstruując degeneracyjną gramatykę specyficzną dla tego ustawienia treningowego.
Andrej Karpathy
Andrej Karpathy22 lis, 10:11
Czy ktoś natknął się na dobrą definicję „slop”? W ilościowym, mierzalnym sensie. Moje myślenie ma intuicyjny „wskaźnik slop”, który mogę ~wiarygodnie oszacować, ale nie jestem pewien, jak to zdefiniować. Mam kilka złych pomysłów, które obejmują wykorzystanie miniseriali LLM i myślenie o budżetach tokenów.
To również wyjaśnia niezwykłe podobieństwo między niskiej jakości angielskim z Indii a wynikami LLM, nawiasem mówiąc.
33,29K