- du är - en slumpmässig CS-grad med 0 aning om hur LLM:er fungerar - bli trött på folk som grindvaktar med stora ord och små GPU:er - Bestäm dig för att gå fullt ut Monk Mode - 2 år senare kan jag förklara uppmärksamhetsmekanismer på fester och förstöra dem - Här är den förbjudna kunskapskartan - uppifrån och ner, hur LLM:er *faktiskt* fungerar - Börja från början - text → tokens - Tokens → inbäddningar - du är nu ett flyttal i 4D-rymden - Atmosfär i enlighet med detta - Positionella inbäddningar: - Absolut: "Jag är position 5" - roterande (RoPE): "Jag är en sinusvåg" - alibi: "Jag skalar uppmärksamheten efter avstånd som en hatare" - Uppmärksamhet är allt du behöver - Självuppmärksamhet: "Vem får jag uppmärksamma?" - Multihead: "Vad händer om jag gör det 8 gånger parallellt?" - QKV: fråga, nyckel, värde - Låter som en kryptobluff - Faktiskt kärnan i intelligens -Transformatorer: - Ta dina synpunkter - Krossa dem genom uppmärksamhetslager...