🔥 ByteDance julkaisi juuri Doubao-Seed-1.8 (Agent-malli) — ja tässä on perusteellinen arvio Zhihu-avustajalta toyama naolta 👀 🔮 TL; DR:Silmien avautuminen keskellä kaaosta. Vuoden 2025 aikana Seed-tiimin 1.5- ja 1.6-mallit pysyivät tiukasti Kiinan pääsarjassa ja maailmanlaajuisella toisella tasolla. Versiosta 1.5 lähtien Seed on panostanut yhtenäiseen multimodaaliseen mallintamiseen, mikä on suhteellisen harvinaista kotimaisissa malleissa. Tästä huolimatta Seed-1.6:ta kritisoitiin voimakkaasti: laajamittainen RL nosti vertailupisteitä, mutta todellinen yleistys jäi Qwen3:sta jälkeen eikä ollut kaukana maailman johtajista. Kun GLM ja MiniMax keskittyivät agenttisovelluksiin, Doubaon heikot agenttikyvyt jättivät sen vaikeuksiin. Kuitenkin Seed-1.8:n paluu ensimmäiselle tasolle ei ollut yllätys — yllätys on tehokkuus (Kuva 1)! !️ Keskitasoinen versio saavuttaa saman älykkyyden kuin Seed-1.6 käyttäen 5K tokeneita 15K:n sijaan, ja aloitushinta on ¥2, mikä tekee siitä erittäin kustannustehokkaan — polku, joka muistuttaa DeepSeekiä. Korkea taso skaalautuu suuremmilla budjeteilla ja on huomattavasti lähellä huippumalleja Yhdysvalloissa. Vahvan vision ja multimodaalisen ymmärryksen sekä kuvan/videon tuottamisen ansiosta on reilua kutsua Seediä "mini-Geminiksi". Missä se paranee 🚀 1️⃣ Pitkäketjuinen päättely: Seed-1.8 keskittyy paljon pidemmälle CoT:lle, validoiden oksia huolellisesti oikeiden ratkaisujen saavuttamiseksi. Sen voima tulee enemmän jatkuvasta tarkkaavaisuudesta ja perusteellisesta etsinnästä kuin syvästä ihmismäisestä abstraktiosta. Gemini 3 Pro ja GPT-5.2 saavuttavat edelleen korkeammat pisteet ~60 % tokeneista — merkki vahvemmasta raakasta älykkyydestä. 2️⃣ Tiedon poimiminen: Korkea tarkkuus, mutta tehoton. Seed-1.8 pyrkii toistamaan ja kommentoimaan koko lähdetekstiä CoT:n aikana. Yksinkertainen 10K uuttotehtävä voi maksaa 2× tokenia, ja tarkkuus laskee jyrkästi pienemmillä päättelybudjetilla. Ilman järkeilyä poisto on lähes käyttökelvotonta. (Gemini 3 Pro hoitaa saman tehtävän ~4K-tokeneissa.) 3️⃣ Koodaus: Historiallisesti heikko kohta, mutta paranemassa. Seed-1.8 perii hyötyjä uudemmasta Code-mallista ja on käytettävissä 0→1 "vibe-koodaukseen". Edelleen kaukana huipputason insinöörimalleista — erityisesti järjestelmätason ajattelussa. Missä se edelleen jää vajaaksi ⚠️ 1️⃣ Monimutkainen koheenssi: Parempi kuin Seed-1.6, nyt "käytännössä käyttökelpoinen", mutta silti kamppailee tavoitteiden johdonmukaisessa seurannassa pitkien keskustelujen aikana. ~10+ käännöksen jälkeen järki harhailee. 2️⃣ Avaruusäly: Rajoitetut koulutusesitykset. Suorituskyky 2D/3D-spatiaalisessa päättelyssä paranee tuskin lainkaan verrattuna versioon 1.6. 🧠 Viimeinen näkemys Geminin yhtenäinen multimodaalinen strategia on jo muodostanut vahvan vallihaudan. Useimmat kiinalaiset mallit kilpailevat edelleen tekstikeskeisessä kilpailussa. ByteDancen varhainen päätös tavoitella yhtenäistä multimodaalisuutta oli oikea — mutta historiallinen velka painaa raskaasti. Siemen-1.8 ei ole täydellinen. Kuitenkin, kun heikkouksia vähitellen täytetään — monen kierroksen RL, koodaussyvyys, tiedon laajentaminen — Seed saattaa silti syttyä seuraavan aikakauden tähtenä, jota ruokkii ByteDancen valtavat internet-tason resurssit✨ 🔗 Alkuperäinen artikkeli (CN): #AI #LLM #Multimodal #Agent #ByteDance #Seed

Miltä seuraavan sukupolven LLM-arkkitehtuuri tulee näyttämään? Tämä kysymys herättää jatkuvasti keskustelua — ja Zhihun avustaja ja kehittäjä Yuxuan tarjoaa terävän vertailun DeepSeek Sparse Attentionin (DSA) ja Native Sparse Attentionin (NSA) välillä sekä käytännön katsauksen DSA-operaattoreiden käyttöönottoon TileLangilla. 🚀 Miksi DSA > NSA:n (pitkän kontekstin tehtävissä): Kokeiluista DSA:n lisäämisestä pieniin malleihin ja vertailusta NSA:han, DSA suoriutuu johdonmukaisesti paremmin — pääasiassa kahden keskeisen suunnitteluvalinnan ansiosta: 1️⃣ Attn-pisteiden tislaus → eksplisiittinen valvonta indeksin valinnalle 2️⃣ Token-tason harvonta lohkotason sijaan→ tarkempi ja tarkempi haku 🔍 1) Attn-pisteiden tislaus Harva huomio riippuu oikeiden avain-arvoparien valinnasta. DSA valvoo indeksimoduulia suoraan käyttäen todellisia tarkkaavaisuuspisteitä, sovittaen koulutuksen varsinaiseen tavoitteeseen: "valitse kriittiset tokenit." NSA optimoi sen sijaan vain LM-häviön, eikä anna nimenomaista rajoitusta indeksin tarkkuudelle — mikä selittää sen heikomman suorituskyvyn pitkien asiakirjojen hakuvertailuissa. 🔍 2) Token- vs lohkotason harva Tarkkuus skaalautuu laskentabudjetin mukaan: tarkempi indeksointi → parempi haku. Token-tason indeksointi (DSA) tuottaa luonnollisesti korkeampaa tarkkuutta kuin lohkotason (NSA). Tästä näkökulmasta NSA:n suorituskyvyn pullonkaula on odotettavissa — mielenkiintoinen kysymys: Auttaisiko block-size=8 NSA:ta saavuttamaan DSA:n? ⚙️ Todellinen haaste: DSA:n tehokas koulutus DSA-koulutus sisältää lämmittelyä → Sparse Finetunea. Haasteena on molempien haarojen huomiopisteiden laskeminen ja tallentaminen. Naiivi toteutus vaatii O(n²) tallennusta — mikä kumoaa FlashAttentionin muistinsäästöt. Jopa esisuodatus (k=2048, h=512+64) vaatii silti suuria puskureita. 📎 Koodi: 🧩 Ytimen fuusio pelastaa (Kuva 1) Välttääkseen massiivisten väliaikaisten Attn-pisteiden tallentamisen DSA käyttää fuusioituja ytimiä. Keskeinen temppu on yhdistää Index-Score + Top-k ytimeen: • Ylläpitää 2K puskuria • Laske indeksipisteet jokaiselle lohkolle • Suorita bitoniseen lajitteluun perustuva yhdistäminen • Pidä top-K-pisteet ja niiden sijoitukset CUDA:ta ei tarvita — toteutettu TileLang DSL:llä, inspiraationa fla-org/native-sparse-attention. 🧾 Yhteenveto DSA:n etumatka NSA:han perustuu seuraaviin: • Attn-Score -tislaus (nimenomainen valvonta) • Token-tason harva (korkeampi indeksin tarkkuus) Ja ytimen fuusion myötä sen kallis koulutusputki muuttuu muistikelpoiseksi. 📖 Lue koko artikkeli: #DeepSeek #SparseAttention #DSA #NSA #TileLang #LLM #AIInfra

🤔 Baidu ERNIE 5.0 on täällä – kuinka hyvä se oikeasti on? Zhihun avustajan toyama naon laajalti luettu arvostelu tarjoaa selkeitä erittelyjä. Baidu on jäänyt OpenAI:sta 3-6 kuukautta versioon sopivilla julkaisuilla. GPT-5:n jälkeen ERNIE 5.0 saapui vihjeestä – ja toisin kuin kiireinen 4.5, se näyttää vihdoin vankalta ensiluokkaiselta kotimaiselta mallilta. Suorituskyky hyppää ~80 % X1.1:een verrattuna, mikä vastaa suunnilleen MiniMax M2:ta. Harjoitustiedot näyttävät rakennetun uudelleen: tulokset ovat paljon puhtaampia ja yhtenäisempiä (kuva 1). 👇 Tässä on tislattu vertailu: ✅Missä ERNIE 5.0 paranee • Ohjeiden noudattaminen: Korkeat pisteet ja jopa huipputason huiput – mutta outoja alemman tason virheitä (esim. epäjohdonmukaiset päivämäärämuodot eri passeissa). • Peruslaskenta: Luotettava K12-tason matematiikkaan; vakaampi kuin X1.1, mutta silti heikompi kuin M2 monimutkaisissa tehtävissä. • Paljon puhtaampi tulostus: X1.1 kärsi kohinalaisesta tislatusta datasta ja hankalista käännöksistä. ERNIE 5.0 korjaa tämän suurelta osin: selkeämmät ajatusketjut, puhtaammat loppuvastaukset, parempi luettavuus. 🙋 Missä se edelleen kamppailee • Korkea hallusinaatioprosentti: Liian monta itsevarmaa mutta väärää vastausta matemaattisten symbolien palauttamiseen, hahmojen sekoittamiseen ja pitkän kontekstin tehtäviin – lähempänä toisen tason päättelykykyä. • Heikko oivallus: Ei havaitse taustalla olevia malleja (#46 kirjainkuvio, #32 kalenteripäättely), usein raaka pakottaminen abstraktoinnin sijaan. • Satunnaiset äärettömät silmukat: Harvinainen (<3 %), mutta yllättävä, koska ne olivat kadonneet viimeaikaisista kotimaisista malleista. • Heikko monikierroskyky: Unohtaa usein säännöt tai aiemmat vuorot ennen kierrosta 7; silmukat käynnistyvät helpommin. 💬Tuomio Kiinan biljoonan parametrin aikakausi on tuskin 3 kuukautta vanha, ja Baidu hyppäsi jo 2T-malliin. Silti verrattuna Kimi K2 Thinkingiin, ERNIE 5.0 tuntuu hieman "turvonneelta" – isolta, kyvykkäältä, mutta ei täysin hyödyntävältä. Silti tämä saattaa olla @Baidu_Inc:n kauan odotettu paluusignaali – muistutus siitä, että Baidu aikoo pysyä LLM-kilpailussa. 📖 Koko arviointi: 🔗 Kiintopiste: #ERNIE5 #Baidu #AI #LLM #ChinaAI