Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
jaka piękna teoria!
1 paź, 09:02
Nawet przy pełnych gradientach wsadowych, optymalizatory DL łamią klasyczną teorię optymalizacji, ponieważ działają na *krawędzi stabilności.*
Razem z @alex_damian_ wprowadzamy "centralne przepływy": narzędzie teoretyczne do analizy tych dynamik, które dokonuje dokładnych prognoz ilościowych na temat rzeczywistych NNs.
60,37K
K-POP, oblig @basedjensen
29 wrz 2025
Ludzie: roboty zastępują ludzkość.
Rzeczywistość: pokaz tańca robotów na wiodącej konferencji robotycznej bez ruszenia palcem u nogi.
2,58K
Przy okazji, opublikowali szczegółową analizę FP8 KVCache głównego MLA.
więc, właściwie ≈1/5 w porównaniu do gęstego MLA FP8.
29 wrz 2025
Jak się spodziewano, NSA nie jest kompatybilne z MLA, więc DeepSeek wybrał inną metodę: użycie mniejszej (d=128) uwagi (bez wartości) jako indeksatora.
Asymptotyczny stosunek kosztów = 128/576.
Dodatkowo, indeksator używa FP8, podczas gdy główne MLA używa 16-bitów, więc = 64/576 = 1/9.
23,61K
Najlepsze
Ranking
Ulubione