🔥 ByteDance har precis släppt Doubao-Seed-1.8 (Agentmodell) — och här är en djupgående utvärdering från Zhihu-bidragsgivaren toyama nao 👀 🔮 TL; DR: En ögonöppnande mitt i kaoset. Under hela 2025 höll sig Seed-teamets modeller 1,5 och 1,6 stadigt i Kinas högsta nivå och den globala andraklassen. Sedan 1.5 har Seed satsat på enhetlig multimodal modellering, en relativt sällsynt satsning bland inhemska modeller. Med det sagt kritiserades Seed-1.6 hårt: storskalig RL ökade benchmark-poängen, men verkliga generaliseringar låg efter Qwen3 och var långt ifrån globala ledare. När GLM och MiniMax satsade på agentapplikationer, gjorde Doubaos svaga agentförmågor att den fick det svårt. Men Seed-1.8:s återkomst till första nivån var ingen överraskning — överraskningen är effektiviteten (Figur 1)! !️ Den medelstora versionen når samma intelligens som Seed-1.6 genom att använda 5K-tokens istället för 15K, till ett inträdespris på ¥2, vilket gör den extremt kostnadseffektiv – en väg som påminner om DeepSeek. Den höga nivån skalar med större budgetar och kommer märkbart nära toppmodellerna i USA. Med stark vision och multimodal förståelse, plus bild-/videogenerering bara ett halvt steg efter – är det rimligt att kalla Seed en "mini-Gemini." Där det förbättras 🚀 1️⃣ Långkeddig resonemang: Seed-1.8 behåller fokus över mycket längre CoT och validerar noggrant grenar för att nå korrekta lösningar. Dess styrka kommer mer från ihållande uppmärksamhet och uttömmande sökande än från djup människolik abstraktion. Gemini 3 Pro och GPT-5.2 uppnår fortfarande högre poäng med ~60 % av tokens — ett tecken på starkare rå intelligens. 2️⃣ Informationsutvinning: Hög noggrannhet, men ineffektivt. Seed-1.8 tenderar att omformulera och annotera fullständig källtext under CoT. En enkel 10K-extraktionsuppgift kan kosta 2× tokens, och noggrannheten sjunker kraftigt vid lägre resonemangsbudgetar. Utan resonemang aktiverat är extraktion nästan oanvändbar. (Gemini 3 Pro hanterar samma uppgift i ~4K-tokens.) 3️⃣ Kodning: Historiskt sett en svag punkt, men det blir bättre. Seed-1.8 ärver vinster från den senaste Code-modellen och kan användas för 0→1 "vibe-kodning". Fortfarande långt ifrån toppmodeller för ingenjörskonst – särskilt i systemnivåtänkande. Där det fortfarande brister ⚠️ 1️⃣ Flervarvs koherens: Bättre än Seed-1.6, nu "i princip användbar", men har fortfarande svårt att konsekvent följa mål över långa konversationer. Efter ~10+ svängar driftar resonemanget. 2️⃣ Rumslig intelligens: Begränsade utbildningsprogram. Prestandan på 2D/3D rumslig logik förbättras knappt över 1,6. 🧠 Slutgiltigt tagning Gemini's enhetliga multimodala strategi har redan bildat en stark vallgrav. De flesta kinesiska modeller är fortfarande fast i textcentrerad konkurrens. ByteDances tidiga beslut att satsa på enhetlig multimodalitet var rätt – men den historiska skulden väger tungt. Seed-1.8 är inte perfekt. Men när svagheter gradvis fylls – fleromgångs RL, koddjup, kunskapsexpansion – kan Seed fortfarande tändas som en stjärna i nästa era, drivet av ByteDances enorma internetresurser✨ 🔗 Originalartikel (CN): #AI #LLM #Multimodal #Agent #ByteDance #Seed

Hur kommer nästa generations LLM-arkitektur att se ut? Denna fråga fortsätter att väcka debatter — och Zhihu-bidragsgivaren och utvecklaren Yuxuan erbjuder en skarp jämförelse mellan DeepSeek Sparse Attention (DSA) och Native Sparse Attention (NSA), samt en praktisk genomgång av implementering av DSA-operatörer med TileLang. 🚀 Varför DSA > NSA (i långtidsuppgifter): Från experiment där DSA lades till små modeller och jämförs med NSA, presterar DSA konsekvent bättre – främst tack vare två viktiga designval: 1️⃣ Attn-Score destillation → explicit övervakning för indexval 2️⃣ Token-nivå sparsitet istället för blocknivå→ finare, mer exakt återvinning 🔍 1) Attn-score-destillation Sparsam uppmärksamhet hänger på att välja rätt nyckel-värde-par. DSA övervakar indexmodulen direkt med hjälp av sanna uppmärksamhetspoäng och anpassar träningen till det faktiska målet: "välj de kritiska tokens." NSA optimerar istället endast LM-förlusten utan att ge någon explicit begränsning av indexnoggrannhet — vilket förklarar dess svagare prestanda på benchmarks för långdokumentshämtning. 🔍 2) Token- vs blocknivå-gleshet Noggrannheten skalar med beräkningsbudgeten: mer exakt indexering → bättre återvinning. Tokennivåindexering (DSA) ger naturligtvis högre trohet än blocknivåindexering (NSA). Ur detta perspektiv förväntas NSAs prestandaflaskhals — en intressant fråga: Skulle blockstorlek=8 hjälpa NSA att komma ikapp DSA? ⚙️ Den verkliga utmaningen: Effektiv träning av DSA DSA-träningen innefattar uppvärmning → sparse finetune. Utmaningen: att beräkna och lagra båda grenarnas uppmärksamhetspoäng. En naiv implementation kräver O(n²)-lagring — vilket motverkar FlashAttentions minnesbesparingar. Även förfiltrering (k=2048, h=512+64) kräver fortfarande stora buffertar. 📎 Kod: 🧩 Kärnfusion till undsättning (Figur 1) För att undvika att lagra massiva mellanliggande Attn-Scores använder DSA sammansmälta kärnor. Ett viktigt knep är att slå ihop Index-Score + Top-k i en kärna: • Underhåll en 2K-buffert • Beräkna indexpoäng för varje block • Kör bitonisk sorteringsbaserad sammanslagning • Behålla topp-K-poäng och deras positioner Ingen CUDA krävs — implementerad med TileLang DSL, inspirerat av fla-org/native-sparse-attention. 🧾 Sammanfattning DSAs fördel gentemot NSA härrör från: • Attn-Score-destillation (explicit övervakning) • Token-nivå sparsitet (högre indexnoggrannhet) Och med kernelfusion blir dess kostsamma träningspipeline minnesgenomförbar. 📖 Läs hela artikeln: #DeepSeek #SparseAttention #DSA #NSA #TileLang #LLM #AIInfra

🤔 Baidu ERNIE 5.0 är här - hur bra är det egentligen? En mycket läst recension från Zhihu-bidragsgivaren toyama nao ger tydliga uppdelningar. Baidu har släpat efter OpenAI med 3-6 månader med versionsmatchade utgåvor. Efter GPT-5 kom ERNIE 5.0 på beställning - och till skillnad från den forcerade 4.5 ser den äntligen ut som en solid inhemsk modell i första klassen. Prestandan hoppar ~80 % över X1.1, vilket ungefär matchar MiniMax M2. Träningsdata verkar byggas om: resultaten är mycket renare och mer sammanhängande (Fig 1). 👇 Här är den destillerade jämförelsen: ✅Där ERNIE 5.0 blir bättre • Instruktioner följande: Höga poäng och till och med toppar på toppnivå – men med konstiga fel i den lägre klassen (t.ex. inkonsekventa datumformat över pass). • Grundläggande beräkning: Tillförlitlig för matematik på K12-nivå; mer stabil än X1.1, men fortfarande svagare än M2 på komplexa uppgifter. • Mycket renare utdata: X1.1 led av bullriga destillerade data och besvärliga översättningar. ERNIE 5.0 fixar till stor del detta: klarare tankekedjor, renare slutliga svar, bättre läsbarhet. 🙋 Där den fortfarande kämpar • Hög hallucinationsfrekvens: För många självsäkra men felaktiga svar på återställning av matematiska symboler, teckenförvrängning och uppgifter med långa sammanhang – närmare andra klassens resonemangsprestanda. • Låg insiktsfullhet: Misslyckas med att upptäcka underliggande mönster (#46 bokstavsmönster, #32 kalendariskt resonemang), ofta brute-forcering istället för abstraherande. • Enstaka oändliga loopar: Sällsynta (<3 %) men förvånande, med tanke på att de hade försvunnit i de senaste inhemska modellerna. • Svag multi-turn-förmåga: Glömmer ofta regler eller tidigare varv före omgång 7; loopar utlöses lättare. 💬Slutsats Kinas era med biljoner parametrar är knappt 3 månader gammal, och Baidu har redan hoppat till en 2T-modell. Men jämfört med Kimi K2 Thinking känns ERNIE 5.0 lite "puffig" – stor, kapabel, men utnyttjar inte sin vikt fullt ut. Ändå kan detta vara @Baidu_Inc efterlängtade comebacksignal - en påminnelse om att Baidu har för avsikt att stanna kvar i LLM-loppet. 📖 Fullständig utvärdering: 🔗 Riktmärke: #ERNIE5 #Baidu #AI #LLM #ChinaAI