- jesteś - przypadkowym absolwentem informatyki, który nie ma pojęcia, jak działają LLM - masz dość ludzi, którzy strzegą tajemnic wielkimi słowami i małymi GPU - postanawiasz przejść w tryb mnicha - 2 lata później potrafisz wyjaśnić mechanizmy uwagi na imprezach i je zepsuć - oto mapa zakazanej wiedzy - od góry do dołu, jak LLM *naprawdę* działają - zacznij od początku - tekst → tokeny - tokeny → osadzenia - teraz jesteś liczbą zmiennoprzecinkową w przestrzeni 4D - vibruj odpowiednio - osadzenia pozycyjne: - absolutne: „jestem na pozycji 5” - rotacyjne (RoPE): „jestem falą sinusoidalną” - alibi: „skaluję uwagę w zależności od odległości jak hejter” - uwaga to wszystko, czego potrzebujesz - self-attention: „na kogo mogę zwrócić uwagę?” - multihead: „co jeśli zrobię to 8 razy równolegle?” - QKV: zapytanie, klucz, wartość - brzmi jak oszustwo kryptowalutowe - w rzeczywistości to rdzeń inteligencji - transformatory: - bierz swoje dane wejściowe - przetłaczaj je przez warstwy uwagi...