Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Andrej Karpathy
Xây dựng @EurekaLabsAI. Trước đây là Giám đốc AI @ Tesla, nhóm sáng lập @ OpenAI, CS231n / PhD @ Stanford. Tôi thích đào tạo các mạng nơ-ron sâu lớn.
Tôi rất thích cách diễn đạt "thức ăn cho suy nghĩ" như một khả năng nhận thức cụ thể, bí ẩn mà con người trải nghiệm nhưng các LLM thì không có tương đương.
Định nghĩa: "một điều gì đó đáng để suy nghĩ hoặc xem xét, giống như một bữa ăn tinh thần nuôi dưỡng tâm trí bạn bằng những ý tưởng, hiểu biết hoặc vấn đề cần suy ngẫm sâu hơn. Nó được sử dụng cho những chủ đề thách thức quan điểm của bạn, cung cấp sự hiểu biết mới, hoặc khiến bạn suy nghĩ về những câu hỏi quan trọng, hoạt động như một sự kích thích trí tuệ."
Vì vậy, trong ngôn ngữ của LLM, đó là một chuỗi các token mà khi được sử dụng như một lời nhắc cho chuỗi suy nghĩ, các mẫu sẽ mang lại phần thưởng để tham gia, thông qua một hàm phần thưởng nội tại chưa được khám phá. Tôi bị ám ảnh với hình thức mà nó có thể có. Thức ăn cho suy nghĩ.
169
Bài viết mới nhanh: Tự động chấm điểm các cuộc thảo luận trên Hacker News đã 10 năm với cái nhìn từ hiện tại
Tôi đã lấy tất cả 930 bài viết và cuộc thảo luận trên trang chính của Hacker News vào tháng 12 năm 2015 và yêu cầu API Thinking GPT 5.1 thực hiện một phân tích từ hiện tại để xác định các bình luận có tầm nhìn xa nhất/ít nhất. Việc này mất khoảng 3 giờ để lập trình và khoảng 1 giờ và 60 đô la để thực hiện. Ý tưởng này được khơi nguồn từ bài viết HN hôm qua, nơi Gemini 3 được yêu cầu tưởng tượng trang chính của HN một thập kỷ sau.
Nói chung hơn:
1. Phân tích từ hiện tại luôn khiến tôi thích thú như một cách để huấn luyện mô hình dự đoán tương lai của bạn, vì vậy việc đọc các kết quả thật sự rất thú vị và
2. Đáng để suy ngẫm về việc điều này sẽ trông như thế nào khi các bộ óc vĩ đại LLM trong tương lai có thể thực hiện loại công việc này rẻ hơn, nhanh hơn và tốt hơn rất nhiều. Mỗi thông tin mà bạn đóng góp cho internet có thể (và có lẽ sẽ) bị xem xét một cách chi tiết nếu nó là "miễn phí". Do đó, cũng như tweet trước đó của tôi từ một thời gian trước - "hãy tốt, các LLM tương lai đang theo dõi".
Chúc mừng 10 tài khoản hàng đầu pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth, và johncolanduoni - GPT 5.1 Thinking đã tìm thấy các bình luận của bạn là những bình luận sâu sắc và có tầm nhìn nhất trong tất cả các bình luận của HN vào tháng 12 năm 2015.
Liên kết:
- Nhiều chi tiết hơn trong bài viết trên blog của tôi
- Kho lưu trữ GitHub của dự án nếu bạn muốn thử nghiệm
- Các trang kết quả thực tế để bạn đọc thưởng thức

701
Trong tập hôm nay của nỗi kinh hoàng lập trình...
Trong tài liệu Python về hàm random.seed(), chúng ta được thông báo
"Nếu a là một số nguyên, nó sẽ được sử dụng trực tiếp." [1]
Nhưng nếu bạn khởi tạo với 3 hoặc -3, bạn thực sự nhận được cùng một đối tượng rng, tạo ra cùng một luồng. (TIL). Trong nanochat, tôi đã sử dụng dấu hiệu như một cách (mà tôi nghĩ là) thông minh để có được các chuỗi rng khác nhau cho các phân chia train/test. Do đó, có một lỗi nghiêm trọng vì bây giờ train=test.
Tôi đã tìm thấy mã CPython chịu trách nhiệm trong cpython/Modules/_randommodule.c [2], nơi ở dòng 321 chúng ta thấy trong một chú thích:
"Thuật toán này dựa vào việc số đó là không dấu. Vì vậy: nếu đối số là một PyLong, hãy sử dụng giá trị tuyệt đối của nó." tiếp theo là
n = PyNumber_Absolute(arg);
điều này gọi rõ ràng hàm abs() trên hạt giống của bạn để làm cho nó dương, loại bỏ bit dấu.
Nhưng chú thích này thực sự cũng sai/misleading. Ở cấp độ sâu, Python gọi thuật toán Mersenne Twister MT19937, mà trong trường hợp tổng quát có 19937 bit trạng thái (không bằng 0). Python lấy số nguyên của bạn (hoặc các đối tượng khác) và "phân tán" thông tin đó qua các bit này. Về nguyên tắc, bit dấu có thể đã được sử dụng để tăng cường các bit trạng thái. Không có gì về thuật toán "dựa vào việc số đó là không dấu". Một quyết định đã được đưa ra để không kết hợp bit dấu (mà theo ý kiến của tôi là một sai lầm). Một ví dụ đơn giản có thể là ánh xạ n -> 2*abs(n) + int(n < 0).
Cuối cùng, điều này dẫn chúng ta đến hợp đồng của random trong Python, mà cũng không được nêu rõ hoàn toàn trong tài liệu. Hợp đồng được đề cập là:
hạt giống giống nhau => chuỗi giống nhau.
Nhưng không có đảm bảo nào được đưa ra rằng các hạt giống khác nhau tạo ra các chuỗi khác nhau. Vì vậy, về nguyên tắc, Python không hứa hẹn rằng ví dụ, seed(5) và seed(6) là các luồng rng khác nhau. (Mặc dù điều này thường được ngầm hiểu trong nhiều ứng dụng.) Thực tế, chúng ta thấy rằng seed(5) và seed(-5) là các luồng giống hệt nhau. Và bạn có lẽ không nên sử dụng chúng để tách biệt hành vi train/test của bạn trong học máy. Một trong những lỗi lập trình hài hước hơn mà tôi đã gặp gần đây. Hẹn gặp lại bạn trong tập tiếp theo.
[1]
[2]

503
Hàng đầu
Thứ hạng
Yêu thích
