Projetos de Engenharia LLM passo a passo cada projeto = um conceito aprendido da maneira mais difícil (ou seja, real) Tokenização e Incorporação > construir codificador de par de bytes + treinar seu próprio vocabulário de subpalavras > escrever um "visualizador de token" para mapear palavras/pedaços para IDs > one-hot vs learned-embedding: traçar distâncias de cosseno Incorporações posicionais > clássico senoidal vs aprendido vs RoPE vs ALiBi: demo todos os quatro > animar uma sequência de brinquedos sendo "codificada por posição" em 3D > posições de ablação - observe o colapso da atenção Auto-Atenção & Atenção Multicabeça > atenção do produto escalar de fio manual para um token > dimensionar para mapas de calor de peso por cabeça de várias cabeças, plotar > mascarar tokens futuros, verificar a propriedade causal transformadores, QKV, & empilhamento > empilhar as implementações de Atenção com LayerNorm e resíduos → transformador de bloco único > generalizar: "mini-former" do bloco n em dados de brinquedos > dissecar Q, K, V: troque-os, quebre-os, veja o que explode Parâmetros de amostragem: temp/top-k/top-p ...