Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Andrej Karpathy
Xây dựng @EurekaLabsAI. Trước đây là Giám đốc AI @ Tesla, nhóm sáng lập @ OpenAI, CS231n / PhD @ Stanford. Tôi thích đào tạo các mạng nơ-ron sâu lớn.
Bài viết mới nhanh: Tự động chấm điểm các cuộc thảo luận trên Hacker News đã 10 năm với cái nhìn từ hiện tại
Tôi đã lấy tất cả 930 bài viết và cuộc thảo luận trên trang chính của Hacker News vào tháng 12 năm 2015 và yêu cầu API Thinking GPT 5.1 thực hiện một phân tích từ hiện tại để xác định các bình luận có tầm nhìn xa nhất/ít nhất. Việc này mất khoảng 3 giờ để lập trình và khoảng 1 giờ và 60 đô la để thực hiện. Ý tưởng này được khơi nguồn từ bài viết HN hôm qua, nơi Gemini 3 được yêu cầu tưởng tượng trang chính của HN một thập kỷ sau.
Nói chung hơn:
1. Phân tích từ hiện tại luôn khiến tôi thích thú như một cách để huấn luyện mô hình dự đoán tương lai của bạn, vì vậy việc đọc các kết quả thật sự rất thú vị và
2. Đáng để suy ngẫm về việc điều này sẽ trông như thế nào khi các bộ óc vĩ đại LLM trong tương lai có thể thực hiện loại công việc này rẻ hơn, nhanh hơn và tốt hơn rất nhiều. Mỗi thông tin mà bạn đóng góp cho internet có thể (và có lẽ sẽ) bị xem xét một cách chi tiết nếu nó là "miễn phí". Do đó, cũng như tweet trước đó của tôi từ một thời gian trước - "hãy tốt, các LLM tương lai đang theo dõi".
Chúc mừng 10 tài khoản hàng đầu pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth, và johncolanduoni - GPT 5.1 Thinking đã tìm thấy các bình luận của bạn là những bình luận sâu sắc và có tầm nhìn nhất trong tất cả các bình luận của HN vào tháng 12 năm 2015.
Liên kết:
- Nhiều chi tiết hơn trong bài viết trên blog của tôi
- Kho lưu trữ GitHub của dự án nếu bạn muốn thử nghiệm
- Các trang kết quả thực tế để bạn đọc thưởng thức

43,06K
Trong tập hôm nay của nỗi kinh hoàng lập trình...
Trong tài liệu Python về hàm random.seed(), chúng ta được thông báo
"Nếu a là một số nguyên, nó sẽ được sử dụng trực tiếp." [1]
Nhưng nếu bạn khởi tạo với 3 hoặc -3, bạn thực sự nhận được cùng một đối tượng rng, tạo ra cùng một luồng. (TIL). Trong nanochat, tôi đã sử dụng dấu hiệu như một cách (mà tôi nghĩ là) thông minh để có được các chuỗi rng khác nhau cho các phân chia train/test. Do đó, có một lỗi nghiêm trọng vì bây giờ train=test.
Tôi đã tìm thấy mã CPython chịu trách nhiệm trong cpython/Modules/_randommodule.c [2], nơi ở dòng 321 chúng ta thấy trong một chú thích:
"Thuật toán này dựa vào việc số đó là không dấu. Vì vậy: nếu đối số là một PyLong, hãy sử dụng giá trị tuyệt đối của nó." tiếp theo là
n = PyNumber_Absolute(arg);
điều này gọi rõ ràng hàm abs() trên hạt giống của bạn để làm cho nó dương, loại bỏ bit dấu.
Nhưng chú thích này thực sự cũng sai/misleading. Ở cấp độ sâu, Python gọi thuật toán Mersenne Twister MT19937, mà trong trường hợp tổng quát có 19937 bit trạng thái (không bằng 0). Python lấy số nguyên của bạn (hoặc các đối tượng khác) và "phân tán" thông tin đó qua các bit này. Về nguyên tắc, bit dấu có thể đã được sử dụng để tăng cường các bit trạng thái. Không có gì về thuật toán "dựa vào việc số đó là không dấu". Một quyết định đã được đưa ra để không kết hợp bit dấu (mà theo ý kiến của tôi là một sai lầm). Một ví dụ đơn giản có thể là ánh xạ n -> 2*abs(n) + int(n < 0).
Cuối cùng, điều này dẫn chúng ta đến hợp đồng của random trong Python, mà cũng không được nêu rõ hoàn toàn trong tài liệu. Hợp đồng được đề cập là:
hạt giống giống nhau => chuỗi giống nhau.
Nhưng không có đảm bảo nào được đưa ra rằng các hạt giống khác nhau tạo ra các chuỗi khác nhau. Vì vậy, về nguyên tắc, Python không hứa hẹn rằng ví dụ, seed(5) và seed(6) là các luồng rng khác nhau. (Mặc dù điều này thường được ngầm hiểu trong nhiều ứng dụng.) Thực tế, chúng ta thấy rằng seed(5) và seed(-5) là các luồng giống hệt nhau. Và bạn có lẽ không nên sử dụng chúng để tách biệt hành vi train/test của bạn trong học máy. Một trong những lỗi lập trình hài hước hơn mà tôi đã gặp gần đây. Hẹn gặp lại bạn trong tập tiếp theo.
[1]
[2]

570,66K
Đừng nghĩ về LLM như là những thực thể mà hãy coi chúng như là những mô phỏng. Ví dụ, khi khám phá một chủ đề, đừng hỏi:
"Bạn nghĩ gì về xyz"?
Không có "bạn" ở đây. Lần sau hãy thử:
"Một nhóm người tốt để khám phá xyz sẽ là ai? Họ sẽ nói gì?"
LLM có thể kênh/mô phỏng nhiều quan điểm nhưng nó không "đã nghĩ về" xyz trong một thời gian và theo thời gian đã hình thành ý kiến riêng của nó theo cách mà chúng ta thường quen. Nếu bạn ép nó bằng cách sử dụng "bạn", nó sẽ đưa ra một cái gì đó bằng cách áp dụng một vector nhúng tính cách được ngụ ý bởi thống kê của dữ liệu tinh chỉnh của nó và sau đó mô phỏng điều đó. Điều đó cũng ổn, nhưng có ít điều huyền bí hơn nhiều so với những gì tôi thấy mọi người ngây thơ gán cho "hỏi một AI".
400,27K
Hàng đầu
Thứ hạng
Yêu thích
