projetos de Engenharia LLM passo a passo each project = um conceito aprendido da maneira difícil (ou seja, real) Tokenização & Embeddings > construir um codificador de pares de bytes + treinar seu próprio vocabulário de subpalavras > escrever um “visualizador de tokens” para mapear palavras/fragmentos para IDs > one-hot vs learned-embedding: plotar distâncias cosseno Embeddings Posicionais > sinusoidal clássico vs aprendido vs RoPE vs ALiBi: demonstrar os quatro > animar uma sequência de brinquedo sendo “codificada em posição” em 3D > ablar posições—assistir a atenção colapsar Auto-Atenção & Atenção Multihead > conectar manualmente a atenção por produto escalar para um token > escalar para multi-head, plotar mapas de calor de pesos por cabeça > mascarar tokens futuros, verificar propriedade causal transformers, QKV, & empilhamento > empilhar as implementações de Atenção com LayerNorm e residuais → transformer de bloco único > generalizar: “mini-former” de n-blocos em dados de brinquedo > dissecar Q, K, V: trocá-los, quebrá-los, ver o que explode Parâmetros de Amostragem: temp/top-k/top-p ...