跳轉至主要內容
行情
掃鏈
追蹤
信號
跟單
兌換
資產
邀請計劃
更多
產品
DeFi
市場
洞察中心
Eco Hub
安全中心
開發者中心
X Layer
探索 X Layer
X Layer 瀏覽器
跨鏈橋
開發者文檔
測試網水龍頭
GitHub
Wallet API
探索 Wallet API
API 文檔
API Key 管理
區塊鏈瀏覽器
DApp 連接錢包
Boost
X Launch
參與 X Launch,搶先賺新幣
X Campaign
參與活動,贏取豐厚獎勵
獎勵中心
領取獎勵和空投
預警
語言
貨幣
顏色設置
下載 OKX Wallet
Web3 指南
公告
返回
繁體中文
简体中文
English
Tiếng Việt
Русский
Español (Latinoamérica)
Bahasa Indonesia
Français
Deutsch
Italiano
Polski
Čeština
Română
Português (Portugal)
Português (Brasil)
Українська
Español (España)
Nederlands
العربية
日本語
Norsk (bokmål)
Suomi
Svenska
Türkçe
返回
返回
學院
幫助中心
熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
Hosico
+3.81%
USELESS
-4.48%
IKUN
-3.92%
gib
+1.49%
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
Bonk
-2.99%
ALON
-8.41%
LAUNCHCOIN
-2.73%
GOONC
-6.43%
KLED
+10.29%
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
BOOP
+0.33%
Boopa
+4.2%
PORK
-5.03%
主頁
Andrej Karpathy
建築@EurekaLabsAI。曾任 AI 總監 @ 特斯拉,創始團隊 @ OpenAI,CS231n/PhD @ 史丹佛大學。我喜歡訓練大型深層神經網路。
查看原文
Andrej Karpathy
12月11日 01:15
快速的新帖子:用後見之明自動評分十年前的 Hacker News 討論 我將 2015 年 12 月的 930 篇 Hacker News 首頁文章和討論全部收集起來,並請求 GPT 5.1 Thinking API 進行後見之明分析,以識別最具預見性和最不具預見性的評論。這花了大約 3 小時來編寫代碼,約 1 小時和 60 美元來運行。這個想法是受到昨天 HN 文章的啟發,該文章中要求 Gemini 3 幻想十年後的 HN 首頁。 更一般地說: 1. 後見之明分析一直吸引著我,作為訓練前瞻預測模型的一種方式,因此閱讀結果真的很有趣; 2. 值得思考的是,當未來的 LLM 超級智慧能以更便宜、更快和更好的方式進行這類工作時,會是什麼樣子。你對互聯網貢獻的每一點信息都可能(而且可能會)被詳細審查,如果它是 "免費" 的。因此,我之前的推文也提到過 - "要做好,未來的 LLM 正在觀察"。 恭喜前 10 名帳戶 pcwalton、tptacek、paulmd、cstross、greglindahl、moxie、hannob、0xcde4c3db、Manishearth 和 johncolanduoni - GPT 5.1 Thinking 認為你們的評論是 2015 年 12 月 HN 所有評論中最具洞察力和預見性的。 鏈接: - 我博客文章中有更多細節 - 如果你想玩,這是項目的 GitHub 倉庫 - 實際結果頁面供你閱讀的樂趣
362
Andrej Karpathy
12月9日 11:40
在今天的程式設計恐怖故事中... 在 Python 的 random.seed() 定義文件中,我們被告知 "如果 a 是整數,則直接使用它。" [1] 但如果你用 3 或 -3 作為種子,你實際上會得到完全相同的 rng 物件,產生相同的流。(今天學到了)。在 nanochat 中,我使用符號作為一種(我認為是)巧妙的方法來獲得不同的 rng 序列以進行訓練/測試拆分。因此出現了棘手的錯誤,因為現在 train=test。 我在 cpython/Modules/_randommodule.c [2] 中找到了負責的 CPython 代碼,在第 321 行我們在註釋中看到: "這個算法依賴於數字是無符號的。所以:如果參數是 PyLong,則使用其絕對值。" 接下來是 n = PyNumber_Absolute(arg); 這明確地對你的種子調用了 abs() 以使其為正,丟棄了符號位。 但這個註釋實際上也是錯誤/誤導的。在底層,Python 調用了 Mersenne Twister MT19937 算法,這在一般情況下有 19937(非零)位狀態。Python 將你的整數(或其他物件)並 "擴展" 這些信息到這些位上。原則上,符號位本可以用來增強狀態位。這個算法並沒有任何關於 "依賴於數字是無符號的" 的內容。做出了不包含符號位的決定(在我看來這是一個錯誤)。一個微不足道的例子可以是將 n -> 2*abs(n) + int(n < 0) 進行映射。 最後,這使我們來到了 Python 的 random 的合約,這在文檔中也沒有完全說明。提到的合約是: 相同的種子 => 相同的序列。 但沒有保證不同的種子會產生不同的序列。因此,原則上,Python 並不保證例如 seed(5) 和 seed(6) 是不同的 rng 流。(雖然這在許多應用中通常被隱含地假設。)事實上,我們看到 seed(5) 和 seed(-5) 是相同的流。你可能不應該使用它們來區分你的機器學習中的訓練/測試行為。這是我最近遇到的更有趣的程式設計恐怖故事之一。我們下集再見。 [1] [2]
334
Andrej Karpathy
12月8日 02:13
不要把大型語言模型(LLMs)視為實體,而是視為模擬器。例如,在探索一個主題時,不要問: "你對xyz有什麼看法?" 並不存在"你"。下次試著問: "探索xyz的好團體是哪些人?他們會說什麼?" 大型語言模型可以通道/模擬許多觀點,但它並沒有"思考過"xyz一段時間,隨著時間的推移,也沒有以我們習慣的方式形成自己的看法。如果你強迫它使用"你",它會通過採用其微調數據統計所暗示的個性嵌入向量來給你一些東西,然後模擬那個。這樣做是可以的,但我發現人們天真地將"詢問AI"賦予的神秘感要少得多。
236
熱門
排行
收藏