🔥 ByteDance vừa phát hành Doubao-Seed-1.8 (mô hình Agent) — và đây là một đánh giá sâu sắc từ người đóng góp Zhihu toyama nao 👀 🔮 TL;DR: Một cái nhìn mở mang giữa sự hỗn loạn. Trong suốt năm 2025, các mô hình 1.5 và 1.6 của đội Seed đã giữ vững vị trí trong top đầu của Trung Quốc và hạng nhì toàn cầu. Kể từ 1.5, Seed đã tăng cường mô hình đa phương thức thống nhất, một cược tương đối hiếm trong số các mô hình nội địa. Tuy nhiên, Seed-1.6 đã bị chỉ trích nặng nề: RL quy mô lớn đã nâng cao điểm chuẩn, nhưng khả năng tổng quát trong thế giới thực lại chậm hơn Qwen3 và còn xa mới đạt được các nhà lãnh đạo toàn cầu. Khi GLM và MiniMax tập trung vào các ứng dụng Agent, khả năng yếu kém của Doubao đã khiến nó gặp khó khăn. Tuy nhiên, sự trở lại của Seed-1.8 vào hạng nhất không phải là một bất ngờ — điều bất ngờ là hiệu quả (Hình 1)‼️ Phiên bản trung bình đạt được cùng một trí tuệ như Seed-1.6 chỉ với 5K token thay vì 15K, với mức giá vào cửa là ¥2, khiến nó cực kỳ hiệu quả về chi phí — một con đường gợi nhớ đến DeepSeek. Hạng cao mở rộng khả năng suy luận với ngân sách lớn hơn và gần như đạt được gần với các mô hình hàng đầu của Mỹ. Với khả năng thị giác mạnh mẽ & hiểu biết đa phương thức, cộng với khả năng tạo hình ảnh/video chỉ kém một bước — thật công bằng khi gọi Seed là "mini-Gemini." Nơi nó cải thiện 🚀 1️⃣ Suy luận chuỗi dài: Seed-1.8 duy trì sự tập trung qua CoT dài hơn nhiều, cẩn thận xác thực các nhánh để đạt được các giải pháp đúng. Sức mạnh của nó đến từ sự chú ý liên tục và tìm kiếm toàn diện hơn là trừu tượng giống như con người. Gemini 3 Pro và GPT-5.2 vẫn đạt được điểm số cao hơn với ~60% số token — một dấu hiệu của trí thông minh thô mạnh mẽ hơn. 2️⃣ Trích xuất thông tin: Độ chính xác cao, nhưng không hiệu quả. Seed-1.8 có xu hướng lặp lại và chú thích toàn bộ văn bản nguồn trong quá trình CoT. Một nhiệm vụ trích xuất đơn giản 10K có thể tốn 2× token, và độ chính xác giảm mạnh ở ngân sách suy luận thấp hơn. Nếu không có suy luận, việc trích xuất gần như không thể sử dụng được. (Gemini 3 Pro xử lý cùng một nhiệm vụ trong ~4K token.) 3️⃣ Lập trình: Là một điểm yếu trong lịch sử, nhưng đang cải thiện. Seed-1.8 thừa hưởng những lợi ích từ mô hình Code gần đây và có thể sử dụng cho lập trình "vibe" từ 0→1. Vẫn còn xa mới đạt được các mô hình kỹ thuật hàng đầu — đặc biệt là trong tư duy cấp hệ thống. Nơi nó vẫn còn thiếu sót ⚠️ 1️⃣ Tính nhất quán đa lượt: Tốt hơn Seed-1.6, giờ "cơ bản có thể sử dụng", nhưng vẫn gặp khó khăn trong việc theo dõi mục tiêu một cách nhất quán qua các cuộc trò chuyện dài. Sau ~10+ lượt, suy luận bị lạc hướng. 2️⃣ Trí thông minh không gian: Đào tạo hạn chế thể hiện rõ. Hiệu suất trong suy luận không gian 2D/3D chỉ cải thiện một chút so với 1.6. 🧠 Nhận định cuối Chiến lược đa phương thức thống nhất của Gemini đã hình thành một rào cản mạnh mẽ. Hầu hết các mô hình Trung Quốc vẫn bị khóa trong cuộc cạnh tranh tập trung vào văn bản. Quyết định sớm của ByteDance theo đuổi đa phương thức thống nhất là đúng — nhưng nợ lịch sử nặng nề. Seed-1.8 không hoàn hảo. Tuy nhiên, khi các điểm yếu dần được lấp đầy — RL đa lượt, độ sâu lập trình, mở rộng kiến thức, Seed có thể vẫn bùng nổ như một ngôi sao của kỷ nguyên tiếp theo, được thúc đẩy bởi nguồn lực quy mô internet khổng lồ của ByteDance✨ 🔗 Bài viết gốc (CN): #AI #LLM #Multimodal #Agent #ByteDance #Seed

Kiến trúc LLM thế hệ tiếp theo sẽ trông như thế nào? Câu hỏi này luôn gây ra những cuộc tranh luận — và người đóng góp & nhà phát triển trên Zhihu, Yuxuan, đưa ra một so sánh sắc bén giữa DeepSeek Sparse Attention (DSA) và Native Sparse Attention (NSA), cùng với cái nhìn thực tiễn về việc triển khai các toán tử DSA với TileLang. 🚀 Tại sao DSA > NSA (trong các tác vụ dài ngữ cảnh): Từ các thí nghiệm thêm DSA vào các mô hình nhỏ và so sánh với NSA, DSA liên tục hoạt động tốt hơn — chủ yếu nhờ vào hai lựa chọn thiết kế chính: 1️⃣ Chưng cất Attn-Score → giám sát rõ ràng cho việc chọn chỉ số 2️⃣ Tính thưa ở cấp độ token thay vì cấp độ khối → truy xuất chính xác hơn, tinh vi hơn 🔍 1) Chưng cất Attn-Score Sự chú ý thưa phụ thuộc vào việc chọn các cặp khóa-giá trị đúng. DSA giám sát trực tiếp mô-đun chỉ số bằng cách sử dụng các điểm số chú ý thực, căn chỉnh việc đào tạo với mục tiêu thực tế: "chọn các token quan trọng." NSA thay vào đó chỉ tối ưu hóa tổn thất LM, không cung cấp ràng buộc rõ ràng nào về độ chính xác của chỉ số — điều này giải thích cho hiệu suất yếu hơn của nó trên các tiêu chuẩn truy xuất tài liệu dài. 🔍 2) Tính thưa ở cấp độ Token so với Cấp độ Khối Độ chính xác tỷ lệ thuận với ngân sách tính toán: chỉ số chính xác hơn → truy xuất tốt hơn. Chỉ số cấp độ token (DSA) tự nhiên mang lại độ trung thực cao hơn so với cấp độ khối (NSA). Từ góc độ này, nút thắt hiệu suất của NSA là điều dễ hiểu — một câu hỏi thú vị: Liệu kích thước khối=8 có giúp NSA bắt kịp DSA không? ⚙️ Thách thức thực sự: Đào tạo DSA một cách hiệu quả Đào tạo DSA bao gồm Khởi động → Tinh chỉnh Thưa. Thách thức: tính toán và lưu trữ điểm số chú ý của cả hai nhánh. Một triển khai ngây thơ yêu cầu O(n²) bộ nhớ — làm mất đi lợi ích tiết kiệm bộ nhớ của FlashAttention. Ngay cả việc lọc trước (k=2048, h=512+64) vẫn yêu cầu các bộ đệm lớn. 📎 Mã: 🧩 Hợp nhất Kernel để Giải cứu (Hình 1) Để tránh lưu trữ các điểm số Attn-Score trung gian khổng lồ, DSA sử dụng các kernel hợp nhất. Một mẹo chính là kết hợp Chỉ số-Điểm + Top-k trong một kernel: • Duy trì một bộ đệm 2K • Tính toán Chỉ số-Điểm cho mỗi khối • Chạy hợp nhất dựa trên sắp xếp bitonic • Giữ lại các điểm số top-K & vị trí của chúng Không cần CUDA — được triển khai với TileLang DSL, lấy cảm hứng từ fla-org/native-sparse-attention. 🧾 Tóm tắt Lợi thế của DSA so với NSA xuất phát từ: • Chưng cất Attn-Score (giám sát rõ ràng) • Tính thưa ở cấp độ token (độ chính xác chỉ số cao hơn) Và với việc hợp nhất kernel, quy trình đào tạo tốn kém của nó trở nên khả thi về mặt bộ nhớ. 📖 Đọc toàn bộ bài viết: #DeepSeek #SparseAttention #DSA #NSA #TileLang #LLM #AIInfra

🤔 Baidu ERNIE 5.0 đã đến — nó thực sự tốt đến mức nào? Một bài đánh giá được đọc rộng rãi từ người đóng góp Zhihu toyama nao cung cấp những phân tích rõ ràng. Baidu đã theo sau OpenAI từ 3-6 tháng với các phiên bản phát hành tương ứng. Sau GPT-5, ERNIE 5.0 đã đến đúng thời điểm — và không giống như phiên bản 4.5 vội vàng, nó cuối cùng trông giống như một mô hình nội địa hàng đầu vững chắc. Hiệu suất tăng khoảng 80% so với X1.1, gần như tương đương với MiniMax M2. Dữ liệu huấn luyện dường như đã được xây dựng lại: đầu ra sạch hơn và mạch lạc hơn nhiều (Hình 1). 👇 Đây là so sánh tinh gọn: ✅ Nơi ERNIE 5.0 Cải Thiện • Theo dõi hướng dẫn: Điểm số cao và thậm chí đạt đỉnh hàng đầu — nhưng với những thất bại kỳ lạ ở đầu thấp (ví dụ, định dạng ngày tháng không nhất quán giữa các lần thử). • Tính toán cơ bản: Đáng tin cậy cho toán học cấp K12; ổn định hơn X1.1, mặc dù vẫn yếu hơn M2 trong các nhiệm vụ phức tạp. • Đầu ra sạch hơn nhiều: X1.1 gặp phải dữ liệu tinh chế ồn ào và bản dịch vụng về. ERNIE 5.0 phần lớn khắc phục điều này: chuỗi suy nghĩ rõ ràng hơn, câu trả lời cuối cùng sạch hơn, dễ đọc hơn. 🙋 Nơi Nó Vẫn Gặp Khó Khăn • Tỷ lệ ảo giác cao: Quá nhiều câu trả lời tự tin nhưng sai về việc phục hồi ký hiệu toán học, xáo trộn ký tự và các nhiệm vụ ngữ cảnh dài — gần hơn với hiệu suất lý luận cấp hai. • Thiếu sự sâu sắc: Thất bại trong việc phát hiện các mẫu cơ bản (#46 mẫu chữ cái, #32 lý luận lịch), thường sử dụng brute-force thay vì trừu tượng hóa. • Thỉnh thoảng gặp vòng lặp vô hạn: Hiếm (<3%) nhưng gây ngạc nhiên, vì chúng đã biến mất trong các mô hình nội địa gần đây. • Khả năng đa vòng yếu: Thường quên quy tắc hoặc các vòng trước trước vòng 7; các vòng lặp được kích hoạt dễ dàng hơn. 💬 Đánh Giá Kỷ nguyên một triệu tham số của Trung Quốc mới chỉ được 3 tháng, và Baidu đã nhảy lên mô hình 2T. Tuy nhiên, so với Kimi K2 Thinking, ERNIE 5.0 cảm thấy hơi "phình" — lớn, có khả năng, nhưng không hoàn toàn sử dụng hết trọng lượng của nó. Dù sao, đây có thể là tín hiệu trở lại mà @Baidu_Inc đã chờ đợi từ lâu — một lời nhắc nhở rằng Baidu có ý định ở lại trong cuộc đua LLM. 📖 Đánh giá đầy đủ: 🔗 Tham khảo: #ERNIE5 #Baidu #AI #LLM #ChinaAI