Vaiheittaiset LLM-suunnitteluprojektit jokainen projekti = yksi käsite, joka on opittu kovalla (eli todellisella) tavalla Tokenisointi ja upotukset > rakenna tavuparikooderi + kouluta oma alasanastosi > kirjoittaa "token-visualisoinnin" sanojen/lohkojen yhdistämiseksi tunnuksiin > yksi kuuma vs. opittu upotus: juonen kosinietäisyydet Sijaintiin liittyvät upotukset > klassinen sinimuotoinen vs opittu vs RoPE vs ALiBi: esittely kaikki neljä > animoida lelusarjaa, joka on "sijaintikoodattu" 3D:nä > asentoivat – katso, kuinka huomio romahtaa Itsehuomio ja monipäinen huomio > käsijohdon piste-tuotehuomio yhdelle tokenille > mittakaavasta usean pään lämpökarttoihin, piirrä henkeä kohden painolämpökartat > peittää tulevat tokenit, tarkistaa kausaalisen ominaisuuden muuntajat, QKV ja pinoaminen > pinota Attention-toteutukset LayerNormilla ja jäännöksillä → yhden lohkon muuntajaa > yleistää: n-lohko "minimuotoilija" lelutiedoissa > analysoi Q, K, V: vaihda ne, riko ne, katso mikä räjähtää Näytteenottoparametrit: temp/top-k/top-p ...