重要なトピックLLM の仕組みを学ぶには、トークン化と埋め込み> CS Foundation があれば、< 2 年しかかかりません >位置埋め込み(絶対、ロープ、アリバイ) >セルフアテンションとマルチヘッドアテンション >変圧器 >qkv > サンプリングパラメータ: 温度、top-k top-p >kvキャッシュ(および推論が速い理由) > Infini Attention & Sliding Window(長いコンテキストのトリック) エキスパートの>混在(萌えルーティングレイヤー) >グループ化されたクエリアテンション 正規化とアクティブ化> >事前トレーニングの目標(因果関係、マスクなど) > finetuning vs instruction tuning vs rlhf >スケーリング法則とモデル容量曲線 ボーナストピック: >量子化 - QAT と PTQ (GGUFS、AWQ など) >トレーニングと推論スタック(DeepSpeed、VLLMなど) >合成データ生成