Tôi cảm thấy thật kỳ lạ khi mọi người nghĩ rằng họ đang định lượng các mô hình biên giới - Theo ý kiến của tôi, gần như 100% rằng tất cả chúng đều đang chạy trên fp4 và bất cứ thứ gì thấp hơn đều không được tối ưu hóa cho các GPU của nvidia và tôi giả định rằng cũng vậy với tpus và trainium v.v.

@mikechrzano Tôi được nói rằng b300s được thiết kế đặc biệt dựa trên nhu cầu fp4 flops của openai - có lẽ vì họ làm mọi thứ bằng fp4 bây giờ