Topik utama untuk mempelajari cara kerja LLMS, yang diperlukan hanyalah < 2 tahun jika Anda memiliki CS Foundation > tokenisasi dan penyematan > penyematan posisi (absolut, tali, alibi) > perhatian diri dan perhatian multihead > transformator > qkv > parameter pengambilan sampel: suhu, top-k top-p > cache KV (dan mengapa inferensi cepat) > perhatian tak terbatas & jendela geser (trik konteks panjang) > campuran ahli (lapisan perutean moe) > perhatian kueri yang dikelompokkan > normalisasi dan aktivasi > tujuan prapelatihan (kausal, bertopeng, dll) > finetuning vs instruksi penyetelan vs rlhf > hukum penskalaan dan kurva kapasitas model Topik bonus: > kuantisasi - qat vs ptq (gguf, awq, dll) > Pelatihan vs tumpukan inferensi (deepspeed, VLLM, dll) > pembuatan data sintetis