Hvordan vil neste generasjons LLM-arkitektur se ut? Dette spørsmålet fortsetter å skape debatter — og Zhihu-bidragsyter og utvikler Yuxuan gir en skarp sammenligning mellom DeepSeek Sparse Attention (DSA) og Native Sparse Attention (NSA), samt et praktisk blikk på implementering av DSA-operatører med TileLang. 🚀 Hvorfor DSA > NSA (i oppgaver med lang kontekst): Fra eksperimenter med å legge til DSA på små modeller og sammenligning med NSA, presterer DSA konsekvent bedre — hovedsakelig på grunn av to sentrale designvalg: 1️⃣ Attn-Score destillation → eksplisitt supervision for indeksutvelgelse 2️⃣ Token-nivå sparsomhet i stedet for blokk-nivå→ finkornet, mer nøyaktig henting 🔍 1) Attn-score destillasjon Sparsom oppmerksomhet avhenger av å velge de riktige nøkkel-verdi-parene. DSA overvåker indeksmodulen direkte ved bruk av ekte oppmerksomhetsscore, og tilpasser treningen til det faktiske målet: «velg de kritiske tokenene». NSA optimaliserer i stedet kun LM-tapet, uten å gi noen eksplisitt begrensning på indeksnøyaktighet — noe som forklarer den svakere ytelsen på benchmarks for langdokumentinnhenting. 🔍 2) Token- vs blokknivå-sparsomhet Nøyaktigheten skalerer med beregningsbudsjettet: mer presis indeksering → bedre henting. Token-nivå indeksering (DSA) gir naturlig høyere nøyaktighet enn blokknivå (NSA). Fra dette perspektivet forventes NSAs ytelsesflaskehals — et interessant spørsmål: Vil blokkstørrelse=8 hjelpe NSA å ta igjen DSA? ⚙️ Den virkelige utfordringen: Effektiv opplæring av DSA DSA-treningen innebærer oppvarming → sparsom finjustering. Utfordringen: å beregne og lagre oppmerksomhetspoengene til begge grenene. En naiv implementering krever O(n²)-lagring — noe som opphever FlashAttentions minnebesparelser. Selv forhåndsfiltrering (k=2048, h=512+64) krever fortsatt store buffere. 📎 Kode: 🧩 Kjernefusjon til unnsetning (Fig 1) For å unngå lagring av massive mellomliggende Attn-Scores, bruker DSA fusjonerte kjerner. Et viktig triks er å slå sammen Index-Score + Top-k i én kjerne: • Oppretthold en 2K-buffer • Beregn indeks-score for hver blokk • Kjør bitonisk sorteringsbasert sammenslåing • Beholde topp-K-poeng og deres posisjoner Ingen CUDA nødvendig — implementert med TileLang DSL, inspirert av fla-org/native-sparse-attention. 🧾 Sammendrag DSAs fordel over NSA stammer fra: • Attn-Score-destillasjon (eksplisitt tilsyn) • Token-nivå sparsitet (høyere indeksnøyaktighet) Og med kjernefusjon blir den kostbare treningspipelinen minnemulig. 📖 Les hele artikkelen: #DeepSeek #SparseAttention #DSA #NSA #TileLang #LLM #AIInfra

🤔 Baidu ERNIE 5.0 er her - hvor bra er det egentlig? En mye lest anmeldelse fra Zhihu-bidragsyter toyama nao gir klare sammenbrudd. Baidu har ligget etter OpenAI med 3-6 måneder med versjonsmatchede utgivelser. Etter GPT-5 kom ERNIE 5.0 på kø – og i motsetning til den forhastede 4.5, ser den endelig ut som en solid innenlandsk modell på første nivå. Ytelsen hopper ~80 % over X1.1, og matcher omtrent MiniMax M2. Treningsdata ser ut til å være gjenoppbygd: utgangene er mye renere og mer sammenhengende (fig 1). 👇 Her er den destillerte sammenligningen: ✅Hvor ERNIE 5.0 blir bedre • Instruksjonsfølger: Høye poengsummer og til og med topper på toppnivå – men med merkelige low-end-feil (f.eks. inkonsekvente datoformater på tvers av passeringer). • Grunnleggende beregning: Pålitelig for matematikk på K12-nivå; mer stabil enn X1.1, men fortsatt svakere enn M2 på komplekse oppgaver. • Mye renere utgang: X1.1 led av støyende destillerte data og vanskelige oversettelser. ERNIE 5.0 fikser i stor grad dette: klarere tankekjeder, renere endelige svar, bedre lesbarhet. 🙋 Der det fortsatt sliter • Høy hallusinasjonsrate: For mange sikre, men gale svar på gjenoppretting av matematiske symboler, tegnforvrengning og oppgaver med lang kontekst – nærmere andrelags resonneringsytelse. • Lav innsikt: Klarer ikke å oppdage underliggende mønstre (#46 bokstavmønster, #32 kalendrisk resonnement), ofte brute-forcing i stedet for abstraherende. • Sporadiske uendelige løkker: Sjeldne (<3 %), men overraskende, gitt at de hadde forsvunnet i nyere innenlandske modeller. • Svak evne til flere svinger: Glemmer ofte regler eller tidligere svinger før runde 7; sløyfer utløses lettere. 💬Dommen Kinas billion-parameter-æra er knapt 3 måneder gammel, og Baidu hoppet allerede til en 2T-modell. Men sammenlignet med Kimi K2 Thinking, føles ERNIE 5.0 litt "oppblåst" - stor, dyktig, men ikke fullt ut utnytter vekten. Likevel kan dette være @Baidu_Inc etterlengtede comeback-signal - en påminnelse om at Baidu har til hensikt å bli i LLM-løpet. 📖 Full evaluering: 🔗 Benchmark: #ERNIE5 #Baidu #AI #LLM #ChinaAI

🚀 Spesialutgivelse Now Live: The Next Wave: Who Codes the Future – AI Developer Ecosystem Report av @ZhihuFrontier × @ModelScope2022 🔎 Utforsk her → 📌 Høydepunkter i hvitboken • For første gang et systematisk, datadrevet portrett av Kinas AI-æra-utviklere: hvordan de lærer, verktøy, samarbeider og bygger. • Avslører et skifte fra tradisjonell koding til "intensjonsdrevet, fullstack, agentaktivert utvikling". • Kartlegger fremveksten av en ny utviklerarketype – soloskaperen, åpen kildekode-forkjemperen og agentbyggeren – klar til å definere det neste tiåret med AI-skaping. 🔢 Viktige datahøydepunkter • Kinas AI-industri verdsatt til 700 milliarder yen i 2024, på vei til å overstige 1 billion yen. • Utdanning: 93.35 % av de spurte utviklerne i AI-æraen har en bachelor eller høyere; nesten halvparten med master/ph.d. • Arbeidsroller: 50,7 % jobber innen Internett/programvare, 32,7 % innen AI-relaterte felt. • Organisasjonsstørrelse: 24,27 % av utviklerne er i store bedrifter (>1 000 ansatte); 20,74 % i lag <50; 13,7 % uavhengige. • Motivasjon: 63,6 % blir med i AI av lidenskap for teknologi; bare 25.6 % gjør det for høyere inntekt. • Bekymring: 79,4 % bekymrer seg mest for å konvertere AI til reell forretningsverdi; bare 36,5 % frykter at AI vil erstatte dem. 🔔 Dykk inn nå og oppdag hvem som koder fremtiden – og hvordan de bygger den. #AI #Developers #Zhihu #ModelScope #AIecosystem