Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Zhihu Frontier
🚀Å bringe Kinas AI- og teknologitrender, stemmer og perspektiver til den globale scenen.
⚡️Drevet av Zhihu, Kinas ledende kunnskapsplattform.
Hvordan vil neste generasjons LLM-arkitektur se ut?
Dette spørsmålet fortsetter å skape debatter — og Zhihu-bidragsyter og utvikler Yuxuan gir en skarp sammenligning mellom DeepSeek Sparse Attention (DSA) og Native Sparse Attention (NSA), samt et praktisk blikk på implementering av DSA-operatører med TileLang.
🚀 Hvorfor DSA > NSA (i oppgaver med lang kontekst):
Fra eksperimenter med å legge til DSA på små modeller og sammenligning med NSA, presterer DSA konsekvent bedre — hovedsakelig på grunn av to sentrale designvalg:
1️⃣ Attn-Score destillation → eksplisitt supervision for indeksutvelgelse
2️⃣ Token-nivå sparsomhet i stedet for blokk-nivå→ finkornet, mer nøyaktig henting
🔍 1) Attn-score destillasjon
Sparsom oppmerksomhet avhenger av å velge de riktige nøkkel-verdi-parene.
DSA overvåker indeksmodulen direkte ved bruk av ekte oppmerksomhetsscore, og tilpasser treningen til det faktiske målet: «velg de kritiske tokenene».
NSA optimaliserer i stedet kun LM-tapet, uten å gi noen eksplisitt begrensning på indeksnøyaktighet — noe som forklarer den svakere ytelsen på benchmarks for langdokumentinnhenting.
🔍 2) Token- vs blokknivå-sparsomhet
Nøyaktigheten skalerer med beregningsbudsjettet: mer presis indeksering → bedre henting.
Token-nivå indeksering (DSA) gir naturlig høyere nøyaktighet enn blokknivå (NSA).
Fra dette perspektivet forventes NSAs ytelsesflaskehals — et interessant spørsmål: Vil blokkstørrelse=8 hjelpe NSA å ta igjen DSA?
⚙️ Den virkelige utfordringen: Effektiv opplæring av DSA
DSA-treningen innebærer oppvarming → sparsom finjustering.
Utfordringen: å beregne og lagre oppmerksomhetspoengene til begge grenene.
En naiv implementering krever O(n²)-lagring — noe som opphever FlashAttentions minnebesparelser.
Selv forhåndsfiltrering (k=2048, h=512+64) krever fortsatt store buffere.
📎 Kode:
🧩 Kjernefusjon til unnsetning (Fig 1)
For å unngå lagring av massive mellomliggende Attn-Scores, bruker DSA fusjonerte kjerner.
Et viktig triks er å slå sammen Index-Score + Top-k i én kjerne:
• Oppretthold en 2K-buffer
• Beregn indeks-score for hver blokk
• Kjør bitonisk sorteringsbasert sammenslåing
• Beholde topp-K-poeng og deres posisjoner
Ingen CUDA nødvendig — implementert med TileLang DSL, inspirert av fla-org/native-sparse-attention.
🧾 Sammendrag
DSAs fordel over NSA stammer fra:
• Attn-Score-destillasjon (eksplisitt tilsyn)
• Token-nivå sparsitet (høyere indeksnøyaktighet)
Og med kjernefusjon blir den kostbare treningspipelinen minnemulig.
📖 Les hele artikkelen:
#DeepSeek #SparseAttention #DSA #NSA #TileLang #LLM #AIInfra

8,22K
🤔 Baidu ERNIE 5.0 er her - hvor bra er det egentlig?
En mye lest anmeldelse fra Zhihu-bidragsyter toyama nao gir klare sammenbrudd.
Baidu har ligget etter OpenAI med 3-6 måneder med versjonsmatchede utgivelser. Etter GPT-5 kom ERNIE 5.0 på kø – og i motsetning til den forhastede 4.5, ser den endelig ut som en solid innenlandsk modell på første nivå.
Ytelsen hopper ~80 % over X1.1, og matcher omtrent MiniMax M2. Treningsdata ser ut til å være gjenoppbygd: utgangene er mye renere og mer sammenhengende (fig 1).
👇 Her er den destillerte sammenligningen:
✅Hvor ERNIE 5.0 blir bedre
• Instruksjonsfølger: Høye poengsummer og til og med topper på toppnivå – men med merkelige low-end-feil (f.eks. inkonsekvente datoformater på tvers av passeringer).
• Grunnleggende beregning: Pålitelig for matematikk på K12-nivå; mer stabil enn X1.1, men fortsatt svakere enn M2 på komplekse oppgaver.
• Mye renere utgang: X1.1 led av støyende destillerte data og vanskelige oversettelser. ERNIE 5.0 fikser i stor grad dette: klarere tankekjeder, renere endelige svar, bedre lesbarhet.
🙋 Der det fortsatt sliter
• Høy hallusinasjonsrate: For mange sikre, men gale svar på gjenoppretting av matematiske symboler, tegnforvrengning og oppgaver med lang kontekst – nærmere andrelags resonneringsytelse.
• Lav innsikt: Klarer ikke å oppdage underliggende mønstre (#46 bokstavmønster, #32 kalendrisk resonnement), ofte brute-forcing i stedet for abstraherende.
• Sporadiske uendelige løkker: Sjeldne (<3 %), men overraskende, gitt at de hadde forsvunnet i nyere innenlandske modeller.
• Svak evne til flere svinger: Glemmer ofte regler eller tidligere svinger før runde 7; sløyfer utløses lettere.
💬Dommen
Kinas billion-parameter-æra er knapt 3 måneder gammel, og Baidu hoppet allerede til en 2T-modell.
Men sammenlignet med Kimi K2 Thinking, føles ERNIE 5.0 litt "oppblåst" - stor, dyktig, men ikke fullt ut utnytter vekten.
Likevel kan dette være @Baidu_Inc etterlengtede comeback-signal - en påminnelse om at Baidu har til hensikt å bli i LLM-løpet.
📖 Full evaluering:
🔗 Benchmark:
#ERNIE5 #Baidu #AI #LLM #ChinaAI

45,49K
🚀 Spesialutgivelse Now Live: The Next Wave: Who Codes the Future – AI Developer Ecosystem Report av @ZhihuFrontier × @ModelScope2022
🔎 Utforsk her →
📌 Høydepunkter i hvitboken
• For første gang et systematisk, datadrevet portrett av Kinas AI-æra-utviklere: hvordan de lærer, verktøy, samarbeider og bygger.
• Avslører et skifte fra tradisjonell koding til "intensjonsdrevet, fullstack, agentaktivert utvikling".
• Kartlegger fremveksten av en ny utviklerarketype – soloskaperen, åpen kildekode-forkjemperen og agentbyggeren – klar til å definere det neste tiåret med AI-skaping.
🔢 Viktige datahøydepunkter
• Kinas AI-industri verdsatt til 700 milliarder yen i 2024, på vei til å overstige 1 billion yen.
• Utdanning: 93.35 % av de spurte utviklerne i AI-æraen har en bachelor eller høyere; nesten halvparten med master/ph.d.
• Arbeidsroller: 50,7 % jobber innen Internett/programvare, 32,7 % innen AI-relaterte felt.
• Organisasjonsstørrelse: 24,27 % av utviklerne er i store bedrifter (>1 000 ansatte); 20,74 % i lag <50; 13,7 % uavhengige.
• Motivasjon: 63,6 % blir med i AI av lidenskap for teknologi; bare 25.6 % gjør det for høyere inntekt.
• Bekymring: 79,4 % bekymrer seg mest for å konvertere AI til reell forretningsverdi; bare 36,5 % frykter at AI vil erstatte dem.
🔔 Dykk inn nå og oppdag hvem som koder fremtiden – og hvordan de bygger den.
#AI #Developers #Zhihu #ModelScope #AIecosystem

6,7K
Topp
Rangering
Favoritter

