Tärkeimmät aiheet LLM:ien toiminnan oppimiseen, tarvitaan vain < 2 vuotta, jos sinulla on CS Foundation > tokenisointi ja upotukset > sijaintiupotukset (absoluuttinen, köysi, alibi) > itse- ja monipäinen huomio > muuntajat > qkv > näytteenottoparametrit: lämpötila, top-k top-p > kV-välimuisti (ja miksi päättely on nopeaa) > Infini Attention & Sliding Window (pitkät kontekstitemput) > asiantuntijoiden sekoitus (moe-reitityskerrokset) > ryhmitelty kyselyn huomio > normalisointi ja aktivointi > koulutusta edeltävät tavoitteet (kausaaliset, naamioidut jne.) > hienosäätö vs. käskyjen viritys vs rlhf > skaalauslakeja ja mallikapasiteettikäyriä Bonusaiheet: > kvantisoinnit - QAT vs PTQ (GGUFS, AWQ jne.) > koulutus vs. päättelypinot (deepspeed, vllm jne.) > synteettisen datan tuottaminen