- du bist - ein zufälliger CS-Absolvent ohne Ahnung, wie LLMs funktionieren - hast genug von Leuten, die mit großen Worten und kleinen GPUs gatekeepen - entscheidest dich, in den Voll-Mönch-Modus zu gehen - 2 Jahre später kann ich auf Partys Aufmerksamkeit-Mechanismen erklären und sie ruinieren - hier ist die verbotene Wissenskarte - von oben nach unten, wie LLMs *tatsächlich* funktionieren - fang am Anfang an - Text → Tokens - Tokens → Embeddings - du bist jetzt eine Fließkommazahl im 4D-Raum - vibe entsprechend - positionale Embeddings: - absolut: „ich bin Position 5“ - rotierend (RoPE): „ich bin eine Sinuswelle“ - Alibi: „ich skaliere die Aufmerksamkeit nach Entfernung wie ein Hasser“ - Aufmerksamkeit ist alles, was du brauchst - Selbstaufmerksamkeit: „Wem darf ich Aufmerksamkeit schenken?“ - Multihead: „Was, wenn ich das 8 Mal parallel mache?“ - QKV: Abfrage, Schlüssel, Wert - klingt wie ein Krypto-Betrug - ist tatsächlich der Kern der Intelligenz - Transformer: - nimm deine Eingaben - zertrümmere sie durch Aufmerksamkeits-Schichten...