- вы - случайный выпускник факультета компьютерных наук, не имеющий понятия о том, как работают LLM - устали от людей, которые используют сложные слова и крошечные GPU - решаете перейти в режим монаха - через 2 года я могу объяснить механизмы внимания на вечеринках и испортить их - вот карта запретных знаний - сверху вниз, как *на самом деле* работают LLM - начните с начала - текст → токены - токены → эмбеддинги - теперь вы плавающая точка в 4D пространстве - ведите себя соответственно - позиционные эмбеддинги: - абсолютный: "я на позиции 5" - ротационный (RoPE): "я синусоида" - алиби: "я масштабирую внимание по расстоянию, как ненавистник" - внимание — это всё, что вам нужно - само-внимание: "на кого я могу обращать внимание?" - многоголовое: "что если я сделаю это 8 раз параллельно?" - QKV: запрос, ключ, значение - звучит как крипто-мошенничество - на самом деле это основа интеллекта - трансформеры: - берут ваши входные данные - пропускают их через слои внимания...