Một triệu tỷ token mỗi ngày. Đó có phải là nhiều không? "Và khi chúng ta nhìn một cách hẹp vào chỉ số lượng token được phục vụ bởi các API của Foundry, chúng tôi đã xử lý hơn 100t token trong quý này, tăng 5 lần so với năm trước, bao gồm một kỷ lục 50t token chỉ trong tháng trước." Vào tháng Tư, Microsoft đã chia sẻ một thống kê, tiết lộ sản phẩm Foundry của họ đang xử lý khoảng 1.7t token mỗi tháng. Hôm qua, Vipul đã chia sẻ rằng đang xử lý 2t suy diễn mã nguồn mở hàng ngày. Vào tháng Bảy, Google đã công bố một con số đáng kinh ngạc: "Tại I/O vào tháng Năm, chúng tôi đã thông báo rằng chúng tôi đã xử lý 480 triệu tỷ token hàng tháng trên các bề mặt của mình. Kể từ đó, chúng tôi đã gấp đôi con số đó, hiện đang xử lý hơn 980 triệu tỷ token hàng tháng, một sự gia tăng đáng kể." Google xử lý 32.7t hàng ngày, gấp 16 lần Together và 574 lần khối lượng tháng Tư của Microsoft Foundry. Từ những con số này, chúng ta có thể rút ra một vài giả thuyết: 1. Suy diễn mã nguồn mở chỉ chiếm một phần nhỏ trong suy diễn. Không rõ phần trăm nào trong số token suy diễn của Google đến từ các mô hình mã nguồn mở của họ như Gemma. Nhưng, nếu chúng ta giả định rằng Anthropic & OpenAI là 5t-10t token mỗi ngày và tất cả đều là mã nguồn đóng, cộng với Azure cũng tương tự về kích thước, thì suy diễn mã nguồn mở có thể chỉ khoảng 1-3% tổng số suy diễn. 2. Các tác nhân còn mới. Điểm dữ liệu của Microsoft cho thấy các tác nhân trong GitHub, Visual Studio, Copilot Studio và Microsoft Fabric đóng góp chưa đến 1% tổng số suy diễn AI trên Azure. 3. Với việc Microsoft dự kiến đầu tư 80 tỷ đô la so với 85 tỷ đô la của Google vào cơ sở hạ tầng trung tâm dữ liệu AI trong năm nay, khối lượng công việc suy diễn AI của mỗi công ty sẽ tăng đáng kể cả thông qua phần cứng được đưa vào hoạt động và cải tiến thuật toán. "Chỉ thông qua tối ưu hóa phần mềm, chúng tôi đang cung cấp 90% nhiều token hơn cho cùng một GPU so với một năm trước." Microsoft đang vắt nhiều nước chanh kỹ thuật số hơn từ các GPU của họ và Google cũng phải làm điều tương tự. Khi nào chúng ta sẽ thấy 10t hoặc 50t token AI được xử lý mỗi ngày? Chắc chắn không còn xa nữa. - Ước tính từ không khí! - Google và Azure mỗi bên 33t token mỗi ngày, Together và 5 neocloud khác mỗi bên khoảng 2t token mỗi ngày, và Anthropic & OpenAI mỗi bên 5t token mỗi ngày, cho chúng ta 88t token mỗi ngày. Nếu chúng ta giả định 5% token của Google đến từ các mô hình mã nguồn mở, thì đó là 1.65t token mỗi ngày, hoặc khoảng 1.9% tổng số suy diễn. Một lần nữa, toán học rất thô.