🔥 ByteDance щойно випустила Doubao-Seed-1.8 (модель агента) — і ось детальна оцінка від учасника Zhihu Toyama 👀 nao 🔮 Коротко; DR: Відкриття очей посеред хаосу. Протягом 2025 року моделі команди Seed 1.5 і 1.6 міцно залишалися у топовому дивізіоні Китаю та другому світовому рівнях. Починаючи з версії 1.5, Seed подвоїла акцент на уніфікованому мультимодальному моделюванні, що є відносно рідкісною ставкою серед вітчизняних моделей. Водночас Seed-1.6 зазнав жорсткої критики: масштабний RL підвищив результати бенчмарків, але реальне узагальнення відставало від Qwen3 і було далеким від світових лідерів. Коли GLM і MiniMax почали використовувати агентські застосунки, слабкі агентські здібності Doubao змушували його боротися. Однак повернення Seed-1.8 до першого рівня не стало несподіванкою — сюрпризом є ефективність (рис. 1)! !️ Середня версія досягає такого ж інтелекту, як Seed-1.6, використовує токени на 5K замість 15K, за початковою ціною ¥2, що робить її надзвичайно економічною — шлях, схожий на DeepSeek. Високорівневі моделі масштабуються з більшими бюджетами і помітно близькі до топових американських моделей. З сильним баченням і мультимодальним розумінням, а також генерацією зображень/відео, що лише на півкроку відстає — справедливо назвати Seed «міні-Близнюками». Де це покращується 🚀 1️⃣ Логіка довгого ланцюга: Seed-1.8 зберігає фокус на значно довшому CoT, ретельно перевіряючи гілки для отримання правильних рішень. Її сила більше походить від постійної уваги та вичерпного пошуку, ніж із глибокої людської абстракції. Gemini 3 Pro та GPT-5.2 досі отримують вищі бали з ~60% токенів — ознака сильнішого сирого інтелекту. 2️⃣ Вилучення інформації: Висока точність, але неефективна. Seed-1.8 зазвичай переписує та анотує повний вихідний текст під час CoT. Просте завдання на видобуток на 10 тисяч може коштувати 2× токенів, а точність різко падає при низьких раціональних бюджетах. Без увімкненого мислення екстракт майже непридатний. (Gemini 3 Pro виконує те саме завдання у ~4K токенах.) 3️⃣ Кодування: Історично слабке місце, але воно покращується. Seed-1.8 успадковує переваги від останньої моделі Code і придатний для кодування 0→1 «віб». Все ще далеко від топових інженерних моделей — особливо в системному мисленні. Де він досі не ⚠️ дотягує 1️⃣ Багатоповоротна когерентність: Кращий за Seed-1.6, тепер «практично придатний», але все ще має труднощі з послідовним відстеженням цілей у довгих розмовах. Після ~10+ ходів мислення змінюється. 2️⃣ Просторовий інтелект: Обмежені тренувальні шоу. Продуктивність у 2D/3D просторовому мисленні майже не покращується порівняно з 1.6. 🧠 Фінальний дубль Об'єднана мультимодальна стратегія Gemini вже створила міцний рів. Більшість китайських моделей досі перебувають у текстовій конкуренції. Раннє рішення ByteDance прагнути до єдиної мультимодальності було правильним — але історичний борг має велике значення. Seed-1.8 не ідеальний. Проте, коли слабкі місця поступово заповнюються — багатоповоротна реалістична гра, глибина програмування, розширення знань — Seed все ще може стати зіркою наступної епохи, підживленої величезними інтернет-ресурсами✨ ByteDance 🔗 Оригінальна стаття (CN): #AI #LLM #Multimodal #Agent #ByteDance #Seed

Як виглядатиме архітектура LLM наступного покоління? Це питання постійно викликає дискусії — і співавтор і розробник Zhihu Yuxuan пропонує чітке порівняння між DeepSeek Sparse Attention (DSA) та Native Sparse Attention (NSA), а також практичний огляд впровадження операторів DSA за допомогою TileLang. 🚀 Чому DSA > NSA (у завданнях довгого контексту): Від експериментів із додаванням DSA до невеликих моделей і порівняння з NSA, DSA стабільно показує кращі результати — головним чином завдяки двом ключовим дизайнерським рішенням: 1️⃣ Attn-Score дистиляція → явний нагляд для вибору індексу 2️⃣ Розрідість на рівні токена, а не на рівні Блоку→ більш детальна, точніша версія 🔍 1) Attn-Score Distillation Мінімальна увага залежить від вибору правильних пар ключ-значення. DSA безпосередньо контролює індексний модуль, застосовуючи справжні оцінки уваги, узгоджуючи навчання з реальною метою: «вибрати критичні токени». Натомість NSA оптимізує лише втрати LM, не встановлюючи явних обмежень на точність індексу — що пояснює її слабшу ефективність на бенчмарках пошуку довгих документів. 🔍 2) Розрідженість токена проти розрідженості на рівні блоку Точність масштабується відповідно до обчислювального бюджету: точніше індексування → кращий пошук. Індексація на рівні токена (DSA) природно забезпечує вищу точність, ніж на рівні блоків (NSA). З цієї точки зору, очікується вузьке місце продуктивності АНБ — цікаве питання: чи допоможе розмір блоку =8 АНБ наздогнати DSA? ⚙️ Справжній виклик: ефективно навчати DSA Тренування DSA включає розминку → рідкісний тонкий настрой. Виклик: обчислення та збереження оцінок уваги обох гілок. Наївна реалізація потребує O(n²) сховища — що нівелює збереження пам'яті FlashAttention. Навіть попередня фільтрація (k=2048, h=512+64) все одно вимагає великих буферів. 📎 Код: 🧩 Злиття ядра на допомогу (рис. 1) Щоб уникнути зберігання великих проміжних Attn-Score, DSA використовує злиті ядра. Ключовий прийом — об'єднання Index-Score + Top-k в одному ядрі: • Підтримувати буфер 2K • Обчислити індекс-бал для кожного блоку • Запуск об'єднання на основі bitonic-sort • Зберігати бали топ-К та їхні позиції CUDA не потрібна — реалізовано на TileLang DSL, натхненному fla-org/native-sparse-attention. 🧾 Зведення Перевага DSA над NSA походить з: • Дистиляція Attn-Score (явний нагляд) • Розрідженість на рівні токена (вища точність індексу) А з ядерним злиттям його дорогий навчальний конвеєр стає можливим для використання пам'яті. 📖 Прочитайте повну статтю: #DeepSeek #SparseAttention #DSA #NSA #TileLang #LLM #AIInfra

🤔 Baidu ERNIE 5.0 вже тут — наскільки він хороший насправді? Широко читаний відгук від дописувача Zhihu тояма нао пропонує чіткі розбивки. Baidu відстає від OpenAI на 3-6 місяців завдяки релізам, що відповідають версіям. Після GPT-5 ERNIE 5.0 з'явився за сигналом — і на відміну від поспішаючого 4.5, він нарешті виглядає добротною вітчизняною моделлю першого ешелону. Продуктивність підскакує на ~80% порівняно з X1.1, що приблизно відповідає MiniMax M2. Тренувальні дані здаються перебудованими: виходи набагато чистіші та зв'язніші (рис. 1). 👇 Ось дистильоване порівняння: ✅Де ERNIE 5.0 стає кращим • Слідування інструкціям: Високі бали і навіть піки найвищого рівня — але з дивними помилками низького рівня (наприклад, непослідовні формати дат на проходах). • Базові обчислення: надійні для математики рівня K12; стабільніший, ніж X1.1, але все ж таки слабший за M2 у складних завданнях. • Набагато чистіший вивід: X1.1 страждав від зашумлених дистильованих даних і незручних перекладів. ERNIE 5.0 багато в чому це виправляє: чіткіші ланцюжки думок, чистіші кінцеві відповіді, краща читабельність. 🙋 Де вона все ще бореться • Високий рівень галюцинацій: занадто багато впевнених, але неправильних відповідей на тему відновлення математичних символів, скремблювання персонажів і завдань з довгим контекстом — ближче до продуктивності міркувань другого рівня. • Низька проникливість: не помічає прихованих закономірностей (шаблон #46 букв, #32 календарне міркування), часто грубий вплив замість абстрагування. • Випадкові нескінченні петлі: рідкісні (<3%), але дивовижні, враховуючи, що вони зникли в останніх вітчизняних моделях. • Слабка здатність до кількох ходів: часто забуває правила або попередні ходи перед 7 раундом; петлі спрацьовують легше. 💬Висновки Ери трильйонів параметрів у Китаї ледве виповнилося 3 місяці, а Baidu вже перейшла на модель 2T. Проте, у порівнянні з Kimi K2 Thinking, ERNIE 5.0 здається трохи «пухким» — великим, здатним, але не повністю використовує свою вагу. Тим не менш, це може бути довгоочікуваним сигналом про повернення @Baidu_Inc — нагадуванням про те, що Baidu має намір залишитися в гонці LLM. 📖 Повна оцінка: 🔗 Еталоном: #ERNIE5 #Baidu #AI #LLM #ChinaAI