- Ви є - випадковий рейтинг CS з 0 підказкою, як працюють LLM - втомитися від людей з гучними словами та крихітними графічними процесорами - Вирішіть перейти в режим повного монаха - Через 2 роки я можу пояснити механізми уваги на вечірках і зіпсувати їх - Ось заборонена карта знань - зверху вниз, як LLM *насправді* працюють - почати з початку - Токени текстового → - токени → вбудовування - тепер ви є числом з плаваючою комою в 4D просторі - Відповідна атмосфера - Позиційні вкладення: - Абсолют: "Я - позиція 5" - роторний (RoPE): «Я — синусоїда» - алібі: «Я масштабую увагу відстанню, як ненависник» - Увага – це все, що вам потрібно - Увага до себе: «На кого я маю право звертати увагу?» - Multihead: «А що, якщо я зроблю це 8 разів паралельно?» - QKV: запит, ключ, значення - звучить як криптошахрайство - власне ядро інтелекту -Трансформатори: - Враховуйте свої дані - розбити їх через шари уваги...