Nếu tôi là a16z, yc, hoặc sequoia, tôi sẽ đầu tư mạnh mẽ vào các startup đang xây dựng những cách mới để thu thập và chú thích dữ liệu thế giới thực. > Hàng tỷ giờ dữ liệu lái xe > Công nhân nhà máy tương tác với thiết bị và máy móc nặng > Phân đoạn âm thanh với sự hiểu biết sâu sắc về phương ngữ và văn hóa > Dữ liệu thí nghiệm trong phòng ướt > Thu thập và chú thích liên tục các dấu vết của tác nhân ở quy mô tính toán Khi chúng tôi xây dựng LLMs, hầu hết dữ liệu đã tồn tại trên internet. Chúng tôi chỉ cần thu thập, làm sạch và mở rộng. Nhưng khi chúng ta tiến tới các mô hình nền tảng thế giới, nút thắt là dữ liệu chất lượng cao, thực tế và được chú thích tốt. Và chất lượng chú thích rất quan trọng. Có một sự khác biệt lớn giữa: "Quả táo trên cây" và "Quả táo chín trên cây. Gió đang thổi với tốc độ 2 dặm một giờ. Nhiệt độ khoảng 18°C." Câu hỏi rất đơn giản. Bạn có thể thực sự ghi lại bao nhiêu phần của thế giới? Ngày nay, LLMs biết rằng táo rơi xuống vì trọng lực, không phải vì chúng hiểu nguyên nhân, mà vì chúng hiểu mối tương quan ngôn ngữ cực kỳ tốt. Hiểu cấu trúc nguyên nhân sẽ đến sau. Nếu tôi đang xây dựng hướng tới tương lai đó, tôi sẽ tập trung thu thập dữ liệu ở Ấn Độ và các khu vực Nam và Đông Nam Á khác. Tôi sẽ triển khai phần cứng, thu thập hàng nghìn giờ dữ liệu hoạt động của con người, tín hiệu sức khỏe và các chỉ số quan trọng, và chạy các quy trình chú thích liên tục. Ngày và đêm. Nếu tôi là a16z, tôi sẽ tài trợ cho các nhà sáng lập để làm điều này. Tôi có thể chỉ có cảm giác muốn tự mình làm điều đó.

Dự đoán cho năm nay là OpenAI sẽ mua lại AMD. Sama đang chơi cờ 4D, và anh ấy đã thắng trong trò chơi này. AMD cần OpenAI như OpenAI cần AMD. Mọi chuyện bắt đầu khi AMD phát hành chứng quyền cho OpenAI với 160 triệu cổ phiếu ở mức 0,01 USD mỗi cổ phiếu. Cổ phiếu sẽ được cấp khi OpenAI triển khai 6GW GPU của AMD. Nếu cổ phiếu đạt 600 USD và OpenAI thực hiện đầy đủ, những chứng quyền đó sẽ có giá trị 96 tỷ USD (cũng gần bằng giá trị của phần cứng trong thỏa thuận này). Điều này khác với cách mà OpenAI cấu trúc thỏa thuận với Nvidia. Nvidia đã đầu tư 100 tỷ USD vào OpenAI, với OpenAI cam kết triển khai ít nhất 10 GW phần cứng của Nvidia. OpenAI là khách hàng. Nvidia là nhà đầu tư. OpenAI không nắm giữ cổ phần nào trong Nvidia. Với AMD, cấu trúc đã bị đảo ngược. OpenAI trở thành một phần sở hữu tiềm năng với ảnh hưởng đến chiến lược doanh nghiệp của AMD. Đó không phải là cách bạn cấu trúc một mối quan hệ nhà cung cấp. Đó là khi bạn muốn cấu trúc một tiền đề cho việc mua lại. Thời điểm là chìa khóa. OpenAI cũng vừa chuyển đổi từ một tổ chức phi lợi nhuận sang một công ty có lợi nhuận. Việc tái cấu trúc không bao giờ liên quan đến việc huy động vốn, Sama có thể huy động vốn vô hạn. Nó liên quan đến việc tạo điều kiện cho các M&A phức tạp mà các tổ chức phi lợi nhuận không thể thực hiện dễ dàng. Đây là những gì nó trông như thế này: > OpenAI kiểm soát 40% nguồn cung DRAM toàn cầu thông qua các thỏa thuận với Samsung/SK Hynix > OpenAI nắm giữ 10% cổ phần trong AMD > OpenAI đang phát triển chip tùy chỉnh với Broadcom > OpenAI đang xây dựng chip suy diễn riêng với TSMC > OpenAI có một quan hệ đối tác trị giá 100 tỷ USD với Nvidia Có thể có vẻ như là một sự tích hợp dọc, nhưng thực tế Sama đang cố gắng thực hiện một sự chiếm lĩnh ngang của toàn bộ chuỗi tính toán AI. AMD là lựa chọn duy nhất đáng tin cậy thay thế cho Nvidia trong việc mở rộng quy mô. Họ cũng đã mua lại hệ thống ZT, giúp họ sản xuất máy chủ quy mô rack. Họ có GPU cạnh tranh. Nhưng họ thiếu một điểm tựa nhu cầu đảm bảo. OpenAI cung cấp điều đó (và có thể nhiều hơn nữa). Nếu OpenAI mua lại AMD, điều này sẽ tạo ra một công ty AI tích hợp dọc thiết kế mô hình, thiết kế chip và kiểm soát nguồn cung bộ nhớ. Một loại công ty như vậy hiện không tồn tại. Google có một số phần với TPU và DeepMind, nhưng TPU chỉ sử dụng nội bộ. Một thực thể OpenAI-AMD có thể bán ra thị trường trong khi vẫn duy trì những lợi thế độc quyền. Tôi sẽ không ngạc nhiên nếu Intel xuất hiện như một quân bài hoang dã ở đây. Họ có khả năng sản xuất trong nước mà cả AMD và Nvidia đều không có. Họ cũng có kiến trúc x86, vẫn chiếm ưu thế trong tính toán doanh nghiệp. Nvidia đã đầu tư 5 tỷ USD vào Intel, nhưng doanh nghiệp xưởng của họ không được Nvidia sử dụng cho sản xuất chip, họ chỉ cùng phát triển CPU. Điều đó để lại một khoảng trống. Nếu OpenAI muốn có khả năng sản xuất trong nước cho các chip tùy chỉnh của mình, xưởng của Intel là lựa chọn duy nhất của Mỹ ở quy mô lớn. Khi Sama nói rằng anh ấy cần 5-7 nghìn tỷ USD để xây dựng AGI, điều này biện minh cho tham vọng của anh ấy trong việc xây dựng một mạng lưới xưởng toàn cầu. Thời điểm của anh ấy không thể tốt hơn với Đạo luật CHIPS. Nếu bạn là công ty mà chính phủ cần để đạt được độc lập về chất bán dẫn, bạn sẽ nhận được sự đối xử khác biệt. Kết cục có thể không phải là "OpenAI mua lại AMD" hay "OpenAI mua lại Intel." Nhưng nó sẽ là "OpenAI trở thành lớp tích hợp kết nối các công ty chip trong nước thành một chuỗi cung ứng AI thống nhất." Đây sẽ là một loại thực thể mới điều phối giữa những gì từng là các ngành riêng biệt. Sama đang cố gắng kiểm soát lớp mô hình, kiểm soát lớp chip, kiểm soát lớp bộ nhớ, và khi bất kỳ ai lập bản đồ cấu trúc đầy đủ, bạn đã quá tích hợp để có thể tháo gỡ.

Nếu Steve Jobs còn sống, Apple sẽ đang xây dựng cái này, một sản phẩm công nghệ tuyệt đẹp.