Stille funksjonslæring i Transformers Dette er en av de mest fascinerende artiklene jeg har lest denne uken. La meg forklare: Den hevder at tapkurver kan villede om hva en modell lærer. Standardmetoden for overvåking av nevrale nettverkstrening baserer seg på tap som hovedmål for fremdrift. Hvis tapet er flatt, skjer det ingenting. Hvis tapet synker, skjer læring. Men denne antakelsen svikter ved algoritmiske oppgaver. Denne nye forskningen trente Transformers på ti grunnleggende algoritmiske oppgaver og oppdaget «stille egenskaper»: interne representasjoner som utvikler seg mens tap virker stillestående. De finner at modeller lærer mellomliggende beregningssteg lenge før disse stegene forbedrer ytelsen til utdata. Bær biter i tillegg, kømedlemskap i BFS, delvise produkter i multiplikasjon. Disse egenskapene oppstår under lange platåer, og kombineres plutselig for å løse oppgaven. Forskerne undersøkte interne representasjoner innen binær aritmetikk (addisjon, multiplikasjon), grafalgoritmer (BFS, korteste vei, topologisk sortering, MST) og sekvensoptimalisering (maksimal subarray, aktivitetsvalg). Seks oppgaver viste tydelige tofaseoverganger: langvarig stagnasjon etterfulgt av brå ytelsesforbedringer. Ablasjonseksperimenter bekreftet kausalitet. Fjerning av carry-funksjoner fra en 64-bits addisjonsmodell førte til et nøyaktighetsfall på 75,1 %. Å ablate kømedlemskap i BFS reduserte nøyaktigheten med 43,6 %. Algoritmiske oppgaver krever flere underprogrammer som fungerer sammen. Individuelle riktige komponenter reduserer ikke tap før alle deler er på linje. Modeller akkumulerer latente egenskaper under flate tapkurver. Det ser ut til at tap av kryssentropi er en ufullstendig diagnostisk diagnose. Betydelig intern læring kan forekomme mens måleparametere virker stillestående. Dette motiverer rikere overvåkingsverktøy utover tapkurver. 🔖 (bokmerk det) Papir: