Mọi người đang hướng tới MoEs siêu thưa thớt Nếu chúng ta lấy lộ trình của Alibaba làm cơ sở Thì 10T tham số (với 1% kích hoạt, 100B hoạt động) và được đào tạo trên 100 triệu triệu token với 30% MFU sẽ yêu cầu 6 * 10e25 FLOPs Nó có thể được đào tạo trong 58 ngày trên một cụm H200 20K (300 triệu đô la nếu bạn mua hoặc 60 triệu đô la nếu bạn thuê)