Jak bude vypadat architektura LLM nové generace? Tato otázka stále vyvolává debaty — a přispěvatel a vývojář Zhihu Yuxuan nabízí ostré srovnání mezi DeepSeek Sparse Attention (DSA) a Native Sparse Attention (NSA), plus praktický pohled na implementaci DSA operátorů pomocí TileLang. 🚀 Proč DSA > NSA (v úkolech s dlouhým kontextem): Z experimentů s přidáním DSA k malým modelům a porovnáním s NSA DSA konzistentně dosahuje lepších výsledků — hlavně díky dvěma klíčovým návrhovým rozhodnutím: 1️⃣ Destilace Attn-Score → explicitní dohled nad výběrem indexu 2️⃣ Tokenová úroveň řídkosti místo blokové→ jemnější a přesnější vyhledávání 🔍 1) Attn-score destilace Malá pozornost závisí na výběru správných párů klíč-hodnota. DSA přímo dohlíží na modul indexu pomocí skutečných skóre pozornosti, čímž sladí trénink s reálným cílem: "vybrat kritické tokeny." NSA místo toho optimalizuje pouze ztrátu LM, neposkytuje žádné explicitní omezení přesnosti indexu — což vysvětluje její slabší výkon při benchmarkech pro dlouhé vyhledávání dokumentů. 🔍 2) Tokenová vs bloková vzácnost Přesnost škáluje s výpočetním rozpočtem: přesnější indexování → lepší vyhledávání. Token-level indexing (DSA) přirozeně přináší vyšší věrnost než bloková indexace (NSA). Z tohoto pohledu se očekává omezení výkonu NSA — zajímavá otázka: Pomohla by block-size=8 NSA dohnat DSA? ⚙️ Skutečná výzva: Efektivní školení DSA Trénink DSA zahrnuje zahřátí → Sparse Finetune. Výzvou bylo vypočítat a uložit skóre pozornosti obou odvětví. Naivní implementace vyžaduje úložiště O(n²) — což ruší úspory paměti FlashAttention. I předfiltrování (k=2048, h=512+64) stále vyžaduje velké buffery. 📎 Kód: 🧩 Fúze jádra na záchranu (obr. 1) Aby se zabránilo ukládání masivních mezilehlých Attn-skóre, DSA používá fúzovaná jádra. Klíčovým trikem je sloučení index-skóre + top-k do jednoho jádra: • Udržujte 2K buffer • Výpočet indexového skóre pro každý blok • Spouštějte sloučení založené na bitonickém třídění • Uchovat si nejlepší výsledky a jejich pozice Není potřeba CUDA — implementováno pomocí TileLang DSL, inspirované fla-org/native-sparse-attention. 🧾 Shrnutí Výhoda DSA nad NSA vychází z: • Attn-skóre destilace (explicitní dohled) • Řídkost na úrovni tokenu (vyšší přesnost indexu) A s fúzí jádra se jeho nákladný tréninkový proces stává umožnitelným pro paměť. 📖 Přečtěte si celý článek: #DeepSeek #SparseAttention #DSA #NSA #TileLang #LLM #AIInfra

🤔 Baidu ERNIE 5.0 je tady – jak dobrý je doopravdy? Široce čtená recenze od přispěvatele Zhihu toyama nao nabízí jasné členění. Baidu zaostalo za OpenAI o 3-6 měsíců s verzemi odpovídajícími verzím. Po GPT-5 dorazil ERNIE 5.0 jako na zavolanou – a na rozdíl od uspěchané 4.5 konečně vypadá jako solidní domácí model první úrovně. Výkon poskočí o ~80 % oproti X1.1, což zhruba odpovídá MiniMaxu M2. Trénovací data se zdají být přestavěná: výstupy jsou mnohem čistší a koherentnější (obr. 1). 👇 Zde je destilované srovnání: ✅Kde se ERNIE 5.0 zlepšuje • Následující instrukce: Vysoké skóre a dokonce i vrcholy nejvyšší úrovně – ale s podivnými selháními na nízké úrovni (např. nekonzistentní formáty data napříč průchody). • Základní výpočty: Spolehlivé pro matematiku na úrovni K12; stabilnější než X1.1, i když stále slabší než M2 na složitých úlohách. • Mnohem čistší výstup: X1.1 trpěl zašuměnými destilovanými daty a nešikovnými překlady. ERNIE 5.0 to do značné míry napravuje: jasnější myšlenkové řetězce, čistší konečné odpovědi, lepší čitelnost. 🙋 Kde se stále potýká s problémy • Vysoká míra halucinací: Příliš mnoho sebejistých, ale špatných odpovědí na obnovu matematických symbolů, kódování znaků a úlohy v dlouhém kontextu – blíže k výkonu druhořadého uvažování. • Nízká prozíravost: Nedokáže rozpoznat základní vzorce (#46 vzor písmen, #32 kalendářní uvažování), často hrubým násilím místo abstrahování. • Občasné nekonečné smyčky: Vzácné (<3 %), ale překvapivé, vzhledem k tomu, že z nedávných domácích modelů zmizely. • Slabá schopnost více tahů: Často zapomíná pravidla nebo předchozí tahy před 7. kolem; snadněji spouštěné smyčky. 💬Verdikt Čínská éra bilionů parametrů je stará sotva 3 měsíce a Baidu již skočilo na model 2T. Přesto ve srovnání s Kimi K2 Thinking působí ERNIE 5.0 trochu "nafoukle" – velký, schopný, ale ne plně využívající svou váhu. Přesto to může být dlouho očekávaný signál pro návrat @Baidu_Inc – připomínka, že Baidu má v úmyslu zůstat v závodě LLM. 📖 Celkové hodnocení: 🔗 Benchmark: #ERNIE5 #Baidu #AI #LLM #ChinaAI

🚀 Speciální vydání nyní živě: The Next Wave: Who Codes the Future – Zpráva o ekosystému vývojářů AI od @ZhihuFrontier × @ModelScope2022 🔎 Prozkoumejte zde → 📌 Hlavní body bílé knihy • Poprvé systematický, daty podložený portrét čínských vývojářů v éře umělé inteligence: jak se učí, vybavují se, spolupracují a budují. • Odhaluje posun od tradičního kódování k "vývoji řízenému záměrem, full-stackem, podporovaným agenty". • Mapuje vzestup nového archetypu vývojáře – sólového tvůrce, obhájce open-source a tvůrce agentů – který je připraven definovat další desetiletí tvorby umělé inteligence. 🔢 Hlavní body klíčových dat • Čínský průmysl umělé inteligence má v roce 2024 hodnotu 700 miliard jenů, což je na dobré cestě přesáhnout 1 bilion jenů. • Vzdělávání: 93,35 % dotázaných vývojářů z éry umělé inteligence má bakalářský nebo vyšší titul; téměř polovina s magisterským/doktorským titulem. • Pracovní role: 50,7 % pracuje v oblasti internetu/softwaru, 32,7 % v oblastech souvisejících s umělou inteligencí. • Velikost organizace: 24,27 % vývojářů působí ve velkých podnicích (>1 000 zaměstnanců); 20.74 % v týmech <50; 13,7 % nezávislých. • Motivace: 63,6 % se připojuje k AI z vášně pro technologie; pouze 25,6 % tak činí za účelem vyššího příjmu. • Obavy: 79,4 % se nejvíce obává přeměny umělé inteligence na skutečnou obchodní hodnotu; pouze 36,5 % se obává, že je umělá inteligence nahradí. 🔔 Ponořte se do toho hned teď a zjistěte, kdo kóduje budoucnost – a jak ji vytváří. #AI #Developers #Zhihu #ModelScope #AIecosystem