🚨Nhóm DeepSeek đã tìm ra cách tiết kiệm chi phí cho ngữ cảnh dài cho LLMs: một prefill rẻ hơn khoảng ~3.5 lần và giải mã rẻ hơn khoảng ~10 lần ở ngữ cảnh 128k trong quá trình suy diễn với cùng chất lượng. Không thể không yêu thích phòng thí nghiệm AI tiên phong duy nhất công bố mô hình mở và nghiên cứu mở tuyệt vời!
Báo cáo công nghệ:
31,6K