trinnvise LLM-ingeniørprosjekter Hvert prosjekt = ett konsept lært på den harde (dvs. ekte) måten Tokenisering og innebygging > bygg byte-parkoder + tren ditt eget underord vokab > skriver en "token visualizer" for å tilordne ord/biter til ID-er > one-hot vs lært-innebygging: plott cosinusavstander Posisjonelle innbygginger > klassiske sinusformede vs lærte vs RoPE vs ALiBi: demo alle fire > animere en leketøyssekvens som er "posisjonskodet" i 3D > avvikle posisjoner – se oppmerksomheten kollapse Selvoppmerksomhet og oppmerksomhet med flere hoder > håndledning punkt-produktoppmerksomhet for ett token > skala til varmekart for vekt med flere hoder, plott vektkart per hode > maskerer fremtidige tokens, verifiser årsaksegenskaper transformatorer, QKV og stabling > stabler Attention-implementeringene med LayerNorm og rester → enkeltblokktransformator > generaliserer: n-blokk "miniformer" på leketøysdata > dissekerer Q, K, V: bytt dem, knus dem, se hva som eksploderer Sampling-parametere: temp/top-k/top-p ...