Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Zhihu Frontier
🚀Виносячи китайські тенденції, голоси та погляди у сфері штучного інтелекту та технологій на світову арену.
⚡️Підтримується Zhihu, провідною китайською платформою знань.
🔥 ByteDance щойно випустила Doubao-Seed-1.8 (модель агента) — і ось детальна оцінка від учасника Zhihu Toyama 👀 nao
🔮 Коротко; DR: Відкриття очей посеред хаосу.
Протягом 2025 року моделі команди Seed 1.5 і 1.6 міцно залишалися у топовому дивізіоні Китаю та другому світовому рівнях. Починаючи з версії 1.5, Seed подвоїла акцент на уніфікованому мультимодальному моделюванні, що є відносно рідкісною ставкою серед вітчизняних моделей.
Водночас Seed-1.6 зазнав жорсткої критики: масштабний RL підвищив результати бенчмарків, але реальне узагальнення відставало від Qwen3 і було далеким від світових лідерів. Коли GLM і MiniMax почали використовувати агентські застосунки, слабкі агентські здібності Doubao змушували його боротися.
Однак повернення Seed-1.8 до першого рівня не стало несподіванкою — сюрпризом є ефективність (рис. 1)! !️
Середня версія досягає такого ж інтелекту, як Seed-1.6, використовує токени на 5K замість 15K, за початковою ціною ¥2, що робить її надзвичайно економічною — шлях, схожий на DeepSeek.
Високорівневі моделі масштабуються з більшими бюджетами і помітно близькі до топових американських моделей. З сильним баченням і мультимодальним розумінням, а також генерацією зображень/відео, що лише на півкроку відстає — справедливо назвати Seed «міні-Близнюками».
Де це покращується 🚀
1️⃣ Логіка довгого ланцюга:
Seed-1.8 зберігає фокус на значно довшому CoT, ретельно перевіряючи гілки для отримання правильних рішень.
Її сила більше походить від постійної уваги та вичерпного пошуку, ніж із глибокої людської абстракції. Gemini 3 Pro та GPT-5.2 досі отримують вищі бали з ~60% токенів — ознака сильнішого сирого інтелекту.
2️⃣ Вилучення інформації:
Висока точність, але неефективна. Seed-1.8 зазвичай переписує та анотує повний вихідний текст під час CoT. Просте завдання на видобуток на 10 тисяч може коштувати 2× токенів, а точність різко падає при низьких раціональних бюджетах. Без увімкненого мислення екстракт майже непридатний. (Gemini 3 Pro виконує те саме завдання у ~4K токенах.)
3️⃣ Кодування:
Історично слабке місце, але воно покращується. Seed-1.8 успадковує переваги від останньої моделі Code і придатний для кодування 0→1 «віб». Все ще далеко від топових інженерних моделей — особливо в системному мисленні.
Де він досі не ⚠️ дотягує
1️⃣ Багатоповоротна когерентність:
Кращий за Seed-1.6, тепер «практично придатний», але все ще має труднощі з послідовним відстеженням цілей у довгих розмовах. Після ~10+ ходів мислення змінюється.
2️⃣ Просторовий інтелект:
Обмежені тренувальні шоу. Продуктивність у 2D/3D просторовому мисленні майже не покращується порівняно з 1.6.
🧠 Фінальний дубль
Об'єднана мультимодальна стратегія Gemini вже створила міцний рів. Більшість китайських моделей досі перебувають у текстовій конкуренції. Раннє рішення ByteDance прагнути до єдиної мультимодальності було правильним — але історичний борг має велике значення.
Seed-1.8 не ідеальний. Проте, коли слабкі місця поступово заповнюються — багатоповоротна реалістична гра, глибина програмування, розширення знань — Seed все ще може стати зіркою наступної епохи, підживленої величезними інтернет-ресурсами✨ ByteDance
🔗 Оригінальна стаття (CN):
#AI #LLM #Multimodal #Agent #ByteDance #Seed

53
Як виглядатиме архітектура LLM наступного покоління?
Це питання постійно викликає дискусії — і співавтор і розробник Zhihu Yuxuan пропонує чітке порівняння між DeepSeek Sparse Attention (DSA) та Native Sparse Attention (NSA), а також практичний огляд впровадження операторів DSA за допомогою TileLang.
🚀 Чому DSA > NSA (у завданнях довгого контексту):
Від експериментів із додаванням DSA до невеликих моделей і порівняння з NSA, DSA стабільно показує кращі результати — головним чином завдяки двом ключовим дизайнерським рішенням:
1️⃣ Attn-Score дистиляція → явний нагляд для вибору індексу
2️⃣ Розрідість на рівні токена, а не на рівні Блоку→ більш детальна, точніша версія
🔍 1) Attn-Score Distillation
Мінімальна увага залежить від вибору правильних пар ключ-значення.
DSA безпосередньо контролює індексний модуль, застосовуючи справжні оцінки уваги, узгоджуючи навчання з реальною метою: «вибрати критичні токени».
Натомість NSA оптимізує лише втрати LM, не встановлюючи явних обмежень на точність індексу — що пояснює її слабшу ефективність на бенчмарках пошуку довгих документів.
🔍 2) Розрідженість токена проти розрідженості на рівні блоку
Точність масштабується відповідно до обчислювального бюджету: точніше індексування → кращий пошук.
Індексація на рівні токена (DSA) природно забезпечує вищу точність, ніж на рівні блоків (NSA).
З цієї точки зору, очікується вузьке місце продуктивності АНБ — цікаве питання: чи допоможе розмір блоку =8 АНБ наздогнати DSA?
⚙️ Справжній виклик: ефективно навчати DSA
Тренування DSA включає розминку → рідкісний тонкий настрой.
Виклик: обчислення та збереження оцінок уваги обох гілок.
Наївна реалізація потребує O(n²) сховища — що нівелює збереження пам'яті FlashAttention.
Навіть попередня фільтрація (k=2048, h=512+64) все одно вимагає великих буферів.
📎 Код:
🧩 Злиття ядра на допомогу (рис. 1)
Щоб уникнути зберігання великих проміжних Attn-Score, DSA використовує злиті ядра.
Ключовий прийом — об'єднання Index-Score + Top-k в одному ядрі:
• Підтримувати буфер 2K
• Обчислити індекс-бал для кожного блоку
• Запуск об'єднання на основі bitonic-sort
• Зберігати бали топ-К та їхні позиції
CUDA не потрібна — реалізовано на TileLang DSL, натхненному fla-org/native-sparse-attention.
🧾 Зведення
Перевага DSA над NSA походить з:
• Дистиляція Attn-Score (явний нагляд)
• Розрідженість на рівні токена (вища точність індексу)
А з ядерним злиттям його дорогий навчальний конвеєр стає можливим для використання пам'яті.
📖 Прочитайте повну статтю:
#DeepSeek #SparseAttention #DSA #NSA #TileLang #LLM #AIInfra

697
🤔 Baidu ERNIE 5.0 вже тут — наскільки він хороший насправді?
Широко читаний відгук від дописувача Zhihu тояма нао пропонує чіткі розбивки.
Baidu відстає від OpenAI на 3-6 місяців завдяки релізам, що відповідають версіям. Після GPT-5 ERNIE 5.0 з'явився за сигналом — і на відміну від поспішаючого 4.5, він нарешті виглядає добротною вітчизняною моделлю першого ешелону.
Продуктивність підскакує на ~80% порівняно з X1.1, що приблизно відповідає MiniMax M2. Тренувальні дані здаються перебудованими: виходи набагато чистіші та зв'язніші (рис. 1).
👇 Ось дистильоване порівняння:
✅Де ERNIE 5.0 стає кращим
• Слідування інструкціям: Високі бали і навіть піки найвищого рівня — але з дивними помилками низького рівня (наприклад, непослідовні формати дат на проходах).
• Базові обчислення: надійні для математики рівня K12; стабільніший, ніж X1.1, але все ж таки слабший за M2 у складних завданнях.
• Набагато чистіший вивід: X1.1 страждав від зашумлених дистильованих даних і незручних перекладів. ERNIE 5.0 багато в чому це виправляє: чіткіші ланцюжки думок, чистіші кінцеві відповіді, краща читабельність.
🙋 Де вона все ще бореться
• Високий рівень галюцинацій: занадто багато впевнених, але неправильних відповідей на тему відновлення математичних символів, скремблювання персонажів і завдань з довгим контекстом — ближче до продуктивності міркувань другого рівня.
• Низька проникливість: не помічає прихованих закономірностей (шаблон #46 букв, #32 календарне міркування), часто грубий вплив замість абстрагування.
• Випадкові нескінченні петлі: рідкісні (<3%), але дивовижні, враховуючи, що вони зникли в останніх вітчизняних моделях.
• Слабка здатність до кількох ходів: часто забуває правила або попередні ходи перед 7 раундом; петлі спрацьовують легше.
💬Висновки
Ери трильйонів параметрів у Китаї ледве виповнилося 3 місяці, а Baidu вже перейшла на модель 2T.
Проте, у порівнянні з Kimi K2 Thinking, ERNIE 5.0 здається трохи «пухким» — великим, здатним, але не повністю використовує свою вагу.
Тим не менш, це може бути довгоочікуваним сигналом про повернення @Baidu_Inc — нагадуванням про те, що Baidu має намір залишитися в гонці LLM.
📖 Повна оцінка:
🔗 Еталоном:
#ERNIE5 #Baidu #AI #LLM #ChinaAI

775
Найкращі
Рейтинг
Вибране
