Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Zhihu Frontier
🚀Přinášení čínských trendů, hlasů a pohledů na světovou scénu v oblasti AI a technologií.
⚡️Poháněno Zhihu, přední čínskou platformou pro znalosti.
Jak bude vypadat architektura LLM nové generace?
Tato otázka stále vyvolává debaty — a přispěvatel a vývojář Zhihu Yuxuan nabízí ostré srovnání mezi DeepSeek Sparse Attention (DSA) a Native Sparse Attention (NSA), plus praktický pohled na implementaci DSA operátorů pomocí TileLang.
🚀 Proč DSA > NSA (v úkolech s dlouhým kontextem):
Z experimentů s přidáním DSA k malým modelům a porovnáním s NSA DSA konzistentně dosahuje lepších výsledků — hlavně díky dvěma klíčovým návrhovým rozhodnutím:
1️⃣ Destilace Attn-Score → explicitní dohled nad výběrem indexu
2️⃣ Tokenová úroveň řídkosti místo blokové→ jemnější a přesnější vyhledávání
🔍 1) Attn-score destilace
Malá pozornost závisí na výběru správných párů klíč-hodnota.
DSA přímo dohlíží na modul indexu pomocí skutečných skóre pozornosti, čímž sladí trénink s reálným cílem: "vybrat kritické tokeny."
NSA místo toho optimalizuje pouze ztrátu LM, neposkytuje žádné explicitní omezení přesnosti indexu — což vysvětluje její slabší výkon při benchmarkech pro dlouhé vyhledávání dokumentů.
🔍 2) Tokenová vs bloková vzácnost
Přesnost škáluje s výpočetním rozpočtem: přesnější indexování → lepší vyhledávání.
Token-level indexing (DSA) přirozeně přináší vyšší věrnost než bloková indexace (NSA).
Z tohoto pohledu se očekává omezení výkonu NSA — zajímavá otázka: Pomohla by block-size=8 NSA dohnat DSA?
⚙️ Skutečná výzva: Efektivní školení DSA
Trénink DSA zahrnuje zahřátí → Sparse Finetune.
Výzvou bylo vypočítat a uložit skóre pozornosti obou odvětví.
Naivní implementace vyžaduje úložiště O(n²) — což ruší úspory paměti FlashAttention.
I předfiltrování (k=2048, h=512+64) stále vyžaduje velké buffery.
📎 Kód:
🧩 Fúze jádra na záchranu (obr. 1)
Aby se zabránilo ukládání masivních mezilehlých Attn-skóre, DSA používá fúzovaná jádra.
Klíčovým trikem je sloučení index-skóre + top-k do jednoho jádra:
• Udržujte 2K buffer
• Výpočet indexového skóre pro každý blok
• Spouštějte sloučení založené na bitonickém třídění
• Uchovat si nejlepší výsledky a jejich pozice
Není potřeba CUDA — implementováno pomocí TileLang DSL, inspirované fla-org/native-sparse-attention.
🧾 Shrnutí
Výhoda DSA nad NSA vychází z:
• Attn-skóre destilace (explicitní dohled)
• Řídkost na úrovni tokenu (vyšší přesnost indexu)
A s fúzí jádra se jeho nákladný tréninkový proces stává umožnitelným pro paměť.
📖 Přečtěte si celý článek:
#DeepSeek #SparseAttention #DSA #NSA #TileLang #LLM #AIInfra

8,22K
🤔 Baidu ERNIE 5.0 je tady – jak dobrý je doopravdy?
Široce čtená recenze od přispěvatele Zhihu toyama nao nabízí jasné členění.
Baidu zaostalo za OpenAI o 3-6 měsíců s verzemi odpovídajícími verzím. Po GPT-5 dorazil ERNIE 5.0 jako na zavolanou – a na rozdíl od uspěchané 4.5 konečně vypadá jako solidní domácí model první úrovně.
Výkon poskočí o ~80 % oproti X1.1, což zhruba odpovídá MiniMaxu M2. Trénovací data se zdají být přestavěná: výstupy jsou mnohem čistší a koherentnější (obr. 1).
👇 Zde je destilované srovnání:
✅Kde se ERNIE 5.0 zlepšuje
• Následující instrukce: Vysoké skóre a dokonce i vrcholy nejvyšší úrovně – ale s podivnými selháními na nízké úrovni (např. nekonzistentní formáty data napříč průchody).
• Základní výpočty: Spolehlivé pro matematiku na úrovni K12; stabilnější než X1.1, i když stále slabší než M2 na složitých úlohách.
• Mnohem čistší výstup: X1.1 trpěl zašuměnými destilovanými daty a nešikovnými překlady. ERNIE 5.0 to do značné míry napravuje: jasnější myšlenkové řetězce, čistší konečné odpovědi, lepší čitelnost.
🙋 Kde se stále potýká s problémy
• Vysoká míra halucinací: Příliš mnoho sebejistých, ale špatných odpovědí na obnovu matematických symbolů, kódování znaků a úlohy v dlouhém kontextu – blíže k výkonu druhořadého uvažování.
• Nízká prozíravost: Nedokáže rozpoznat základní vzorce (#46 vzor písmen, #32 kalendářní uvažování), často hrubým násilím místo abstrahování.
• Občasné nekonečné smyčky: Vzácné (<3 %), ale překvapivé, vzhledem k tomu, že z nedávných domácích modelů zmizely.
• Slabá schopnost více tahů: Často zapomíná pravidla nebo předchozí tahy před 7. kolem; snadněji spouštěné smyčky.
💬Verdikt
Čínská éra bilionů parametrů je stará sotva 3 měsíce a Baidu již skočilo na model 2T.
Přesto ve srovnání s Kimi K2 Thinking působí ERNIE 5.0 trochu "nafoukle" – velký, schopný, ale ne plně využívající svou váhu.
Přesto to může být dlouho očekávaný signál pro návrat @Baidu_Inc – připomínka, že Baidu má v úmyslu zůstat v závodě LLM.
📖 Celkové hodnocení:
🔗 Benchmark:
#ERNIE5 #Baidu #AI #LLM #ChinaAI

45,49K
🚀 Speciální vydání nyní živě: The Next Wave: Who Codes the Future – Zpráva o ekosystému vývojářů AI od @ZhihuFrontier × @ModelScope2022
🔎 Prozkoumejte zde →
📌 Hlavní body bílé knihy
• Poprvé systematický, daty podložený portrét čínských vývojářů v éře umělé inteligence: jak se učí, vybavují se, spolupracují a budují.
• Odhaluje posun od tradičního kódování k "vývoji řízenému záměrem, full-stackem, podporovaným agenty".
• Mapuje vzestup nového archetypu vývojáře – sólového tvůrce, obhájce open-source a tvůrce agentů – který je připraven definovat další desetiletí tvorby umělé inteligence.
🔢 Hlavní body klíčových dat
• Čínský průmysl umělé inteligence má v roce 2024 hodnotu 700 miliard jenů, což je na dobré cestě přesáhnout 1 bilion jenů.
• Vzdělávání: 93,35 % dotázaných vývojářů z éry umělé inteligence má bakalářský nebo vyšší titul; téměř polovina s magisterským/doktorským titulem.
• Pracovní role: 50,7 % pracuje v oblasti internetu/softwaru, 32,7 % v oblastech souvisejících s umělou inteligencí.
• Velikost organizace: 24,27 % vývojářů působí ve velkých podnicích (>1 000 zaměstnanců); 20.74 % v týmech <50; 13,7 % nezávislých.
• Motivace: 63,6 % se připojuje k AI z vášně pro technologie; pouze 25,6 % tak činí za účelem vyššího příjmu.
• Obavy: 79,4 % se nejvíce obává přeměny umělé inteligence na skutečnou obchodní hodnotu; pouze 36,5 % se obává, že je umělá inteligence nahradí.
🔔 Ponořte se do toho hned teď a zjistěte, kdo kóduje budoucnost – a jak ji vytváří.
#AI #Developers #Zhihu #ModelScope #AIecosystem

6,7K
Top
Hodnocení
Oblíbené

