Nghiên cứu của NVIDIA vừa làm cho LLM nhanh hơn 53 lần. 🤯 Hãy tưởng tượng việc cắt giảm ngân sách suy diễn AI của bạn tới 98%. Đột phá này không yêu cầu phải đào tạo một mô hình mới từ đầu; nó nâng cấp các mô hình hiện có của bạn để đạt tốc độ cực nhanh trong khi vẫn giữ hoặc vượt qua độ chính xác SOTA. Dưới đây là cách nó hoạt động: Kỹ thuật này được gọi là Tìm kiếm Kiến trúc Thần kinh Hậu (PostNAS). Đây là một quy trình cách mạng để cải tiến các mô hình đã được đào tạo trước. Đóng băng Kiến thức: Nó bắt đầu với một mô hình mạnh mẽ (như Qwen2.5) và khóa các lớp MLP cốt lõi của nó, bảo tồn trí thông minh của nó. Thay thế Phẫu thuật: Sau đó, nó sử dụng một tìm kiếm nhận thức phần cứng để thay thế hầu hết các lớp chú ý đầy đủ chậm, O(n²) bằng một thiết kế chú ý tuyến tính siêu hiệu quả mới gọi là JetBlock. Tối ưu hóa cho Lưu lượng: Tìm kiếm giữ lại một vài lớp chú ý đầy đủ quan trọng ở những vị trí chính xác cần thiết cho lý luận phức tạp, tạo ra một mô hình lai được tối ưu hóa cho tốc độ trên GPU H100. Kết quả là Jet-Nemotron: một AI cung cấp 2,885 token mỗi giây với hiệu suất mô hình hàng đầu và bộ nhớ KV nhỏ hơn 47 lần. Tại sao điều này quan trọng đối với chiến lược AI của bạn: - Lãnh đạo Doanh nghiệp: Tăng tốc 53 lần tương đương với việc giảm chi phí suy diễn tới ~98% khi quy mô. Điều này thay đổi cơ bản cách tính ROI cho việc triển khai AI hiệu suất cao. - Người thực hành: Điều này không chỉ dành cho các trung tâm dữ liệu. Những lợi ích về hiệu suất khổng lồ và kích thước bộ nhớ nhỏ (154MB cache) khiến việc triển khai các mô hình cấp SOTA trên phần cứng hạn chế bộ nhớ và biên trở nên khả thi. - Nhà nghiên cứu: PostNAS cung cấp một mô hình mới, tiết kiệm vốn. Thay vì chi hàng triệu cho việc đào tạo trước, bạn có thể đổi mới về kiến trúc bằng cách sửa đổi các mô hình hiện có, giảm đáng kể rào cản gia nhập để tạo ra các LMs mới, hiệu quả.