Việc ra mắt Extropic hôm nay đã dấy lên một số lo ngại mới. Tôi bắt đầu theo dõi công ty này khi họ từ chối giải thích về thông số đầu vào/đầu ra của những gì họ đang xây dựng, để chúng tôi phải chờ đợi để được làm rõ.) Dưới đây là 3 dấu hiệu đáng lo ngại từ hôm nay: 1. Từ "AI sinh sinh là lấy mẫu. Tất cả các thuật toán AI sinh sinh về cơ bản là quy trình lấy mẫu từ các phân phối xác suất. Đào tạo một mô hình AI sinh sinh tương ứng với việc suy diễn phân phối xác suất nằm dưới một số dữ liệu đào tạo, và chạy suy diễn tương ứng với việc tạo ra các mẫu từ phân phối đã học. Bởi vì TSUs lấy mẫu, chúng có thể chạy các thuật toán AI sinh sinh một cách tự nhiên." Đây là một tuyên bố rất gây hiểu lầm về các thuật toán cung cấp sức mạnh cho những AI hiện đại hữu ích nhất, ở cùng cấp độ với việc gọi não người là một máy tính nhiệt động lực học. Nếu tôi hiểu đúng, theo như bất kỳ ai biết, phần lớn công việc tính toán AI không khớp với loại đầu vào/đầu ra mà bạn có thể cung cấp cho chip của Extropic. Trang web nói: "Thách thức tiếp theo là tìm ra cách kết hợp những nguyên lý này theo cách cho phép khả năng được mở rộng lên một cái gì đó tương đương với các LLM hiện nay. Để làm điều này, chúng tôi sẽ cần xây dựng các TSU rất lớn, và phát minh ra các thuật toán mới có thể tiêu thụ một lượng tài nguyên tính toán xác suất tùy ý." Bạn thực sự cần phải xây dựng các TSU lớn để nghiên cứu xem liệu các ứng dụng giống như LLM có thể hưởng lợi từ phần cứng này không? Tôi đã nghĩ rằng sẽ đáng để chi một vài triệu đô la để điều tra câu hỏi đó thông qua sự kết hợp giữa lý thuyết và phần cứng siêu máy tính đám mây hiện đại, thay vì chi hơn 30 triệu đô la để xây dựng phần cứng có thể là một cây cầu đến hư không. Tài liệu của chính họ cho THRML (thư viện mã nguồn mở của họ) nói: "THRML cung cấp các công cụ tăng tốc GPU cho việc lấy mẫu khối trên các đồ thị thưa thớt, không đồng nhất, làm cho nó trở thành một nơi tự nhiên để thử nghiệm hôm nay và thí nghiệm với phần cứng Extropic trong tương lai." Bạn đang nói rằng bạn thiếu một cách mà các nguyên lý phần cứng của bạn có thể *về nguyên tắc* được áp dụng cho các ứng dụng hữu ích nào đó, và bạn đã tạo ra thư viện này để giúp thực hiện loại nghiên cứu đó bằng cách sử dụng GPU hiện nay… Tại sao bạn không phát hành thư viện Python sớm hơn (THRML), thực hiện nghiên cứu về nút thắt mà bạn nói cần phải được thực hiện sớm hơn, và thu hút cộng đồng để giúp bạn có được câu trả lời cho câu hỏi quan trọng này cho đến bây giờ? Tại sao bạn lại chờ đợi tất cả thời gian này để lần đầu tiên ra mắt nguyên mẫu phần cứng nhỏ quy mô cực kỳ ngách này để giải thích về nút thắt quan trọng này, và chỉ công khai tìm kiếm các đối tác tiềm năng có một số "khối lượng công việc xác suất" liên quan nào đó bây giờ, khi chi phí không làm như vậy là 30 triệu đô la và 18 tháng? 2. Từ "Chúng tôi đã phát triển một mô hình về kiến trúc TSU của chúng tôi và sử dụng nó để ước tính lượng năng lượng cần thiết để chạy quá trình khử nhiễu được hiển thị trong hoạt hình ở trên. Những gì chúng tôi phát hiện là DTMs chạy trên TSUs có thể tiết kiệm năng lượng gấp khoảng 10.000 lần so với các thuật toán tạo hình ảnh tiêu chuẩn trên GPU." Tôi đã thấy mọi người trên Twitter đang khuếch đại tuyên bố 10.000 lần. Nhưng đối với bất kỳ ai đã theo dõi câu chuyện kéo dài hàng thập kỷ của các công ty điện toán lượng tử tuyên bố đạt được "sự vượt trội lượng tử" với những con số khuếch đại tương tự, bạn biết rằng cần phải rất cẩn thận trong việc định nghĩa loại tiêu chuẩn đó. Trên thực tế, thường rất khó để chỉ ra những tình huống mà một phương pháp tính toán cổ điển *không* nhanh hơn nhiều so với phương pháp "tính toán nhiệt động lực học nhanh hơn 10.000 lần" được tuyên bố. Nhóm Extropic biết điều này, nhưng đã chọn không giải thích về các điều kiện có thể tái tạo tiêu chuẩn khuếch đại này mà họ muốn thấy lan truyền. 3. Thuật ngữ mà họ đang sử dụng đã được chuyển sang "máy tính xác suất": "Chúng tôi đã thiết kế máy tính xác suất có thể mở rộng đầu tiên trên thế giới." Cho đến hôm nay, họ đã sử dụng "máy tính nhiệt động lực học" làm thuật ngữ của họ, và tuyên bố bằng văn bản rằng "não là một máy tính nhiệt động lực học". Người ta có thể cho họ một chút lợi ích của sự nghi ngờ khi thay đổi thuật ngữ của họ. Chỉ là họ luôn nói những điều vô nghĩa về não là một "máy tính nhiệt động lực học" (theo quan điểm của tôi, não không phải là cái đó cũng không phải là "máy tính lượng tử"; nó rất nhiều là một thuật toán mạng nơ-ron chạy trên kiến trúc máy tính cổ điển). Và sự chuyển đổi thuật ngữ đột ngột này nhất quán với việc họ đã nói những điều vô nghĩa về mặt đó. Bây giờ về những điều tích cực: * Một số phần cứng thực sự đã được xây dựng! * Họ giải thích cách mà đầu vào/đầu ra của nó có thể có ứng dụng trong việc khử nhiễu, mặc dù như đã đề cập, họ không rõ ràng về chi tiết của "sự vượt trội nhiệt động lực học 10.000 lần" mà họ đã đạt được trên phương diện này. Tổng thể: Đây là những gì tôi mong đợi khi tôi lần đầu tiên bắt đầu yêu cầu đầu vào đầu ra cách đây 18 tháng. Họ đã có một ý tưởng thực sự thú vị cho một mảnh phần cứng, nhưng không có kế hoạch để làm cho nó hữu ích, nhưng đã có một số khởi đầu mơ hồ của một số nghiên cứu lý thuyết có cơ hội làm cho nó hữu ích. Họ dường như đã đạt được tiến bộ đáng kể trong việc đưa phần cứng vào sản xuất (số tiền mà 30 triệu đô la mua được), và dường như ít tiến bộ hơn trong việc tìm lý do tại sao phần cứng cụ thể này, ngay cả sau 10 thế hệ cải tiến kế nhiệm, sẽ hữu ích cho bất kỳ ai. Tiến về phía trước, thay vì phản hồi các câu hỏi về đầu vào/đầu ra của thiết bị của bạn bằng cách "mogging" mọi người và nói rằng đó là bí mật công ty, và tweet những điều huyền bí về thần nhiệt động lực học của bạn, tôi khuyên bạn nên cởi mở hơn về câu hỏi lớn có thể sống còn mà cộng đồng công nghệ có thể thực sự quan tâm đến việc giúp bạn trả lời: liệu ai đó có thể viết một chương trình Python trong mô phỏng của bạn với bằng chứng mạnh mẽ hơn rằng một loại "sự vượt trội nhiệt động lực học" nào đó với khái niệm phần cứng của bạn có thể bao giờ trở thành hiện thực.

Tôi đoán một số người khác cũng sẽ mắc phải sự hiểu lầm giống như bạn, vì vậy tôi sẽ làm rõ: Đây không phải là bước 1 trên con đường đến bước 10 hữu ích. Đây là việc tiến hành mạnh mẽ về phần cứng mà không có một câu chuyện lý thuyết rõ ràng, điều mà họ thừa nhận. Điều đó cũng ổn, chỉ là không bình thường khi có nguồn tài trợ dồi dào như vậy. Có nhiều dự án nghiên cứu tại các trường đại học với ngân sách hạn hẹp có một câu chuyện rõ ràng hơn về những gì cần được xây dựng và tại sao.

@NGDPAB 2. Tôi thấy một nửa trang ở đây, nhưng ý của tôi là, việc chứng minh sự tăng tốc ở quy mô nhỏ không đáng giá nhiều. Chúng ta đều biết điều này.

Re: Cảnh báo đỏ #2, sự thổi phồng "10.000x" gây hiểu lầm:

Như tôi đã nói, nút thắt trong sự thành công của Extropic là hy vọng rằng ai đó sẽ xuất hiện với một ứng dụng hữu ích cho ý tưởng mạo hiểm của họ. Thật không khôn ngoan khi tiêu tốn trước $30 triệu khi mà cú Hail Mary này có thể đã được thực hiện trước đó.