Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Andrej Karpathy
Bygga @EurekaLabsAI. Tidigare chef för AI @ Tesla, grundande team @ OpenAI, CS231n/PhD @ Stanford. Jag gillar att träna stora djupa neurala nätverk.
Snabbt nytt inlägg: Automatisk gradering av tio år gamla diskussioner på Hacker News med efterklokhet
Jag tog alla 930 förstasidesartikel på Hacker News + diskussion från december 2015 och bad GPT 5.1 Thinking API att göra en efterhandsanalys för att identifiera de mest och minst förutseende kommentarerna. Det tog ~3 timmar att vibbe kod och ~1 timme och 60 dollar att köra. Idén väcktes av HN-artikeln igår där Gemini 3 ombads hallucinera HN:s förstasida ett decennium framåt.
Mer generellt:
1. efterklokhetsanalys har alltid fascinerat mig som ett sätt att träna din framåtriktade prediktionsmodell, så att läsa resultaten är verkligen intressant och
2. Det är värt att fundera på hur det ser ut när framtidens LLM-megahjärnor kan göra den här typen av arbete mycket billigare, snabbare och bättre. Varje liten information du bidrar med till internet kan (och kommer troligen att bli) granskad i detalj om den är "gratis". Därför också min tidigare tweet från ett tag tillbaka – "var snäll, framtida LLM:er tittar".
Grattis till de 10 bästa kontona pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth och johncolanduoni - GPT 5.1 Thinking fann dina kommentarer vara de mest insiktsfulla och förutseende av alla kommentarer från HN i december 2015.
Länkar:
- Mycket mer detaljer i mitt blogginlägg
- GitHub-repo för projektet om du vill spela
- De faktiska resultatsidorna för din läsglädje

43,04K
I dagens avsnitt av skräckprogrammering...
I Python-dokumenten för random.seed() def får vi veta
"Om a är en int, används den direkt." [1]
Men om du seedar med 3 eller -3 får du faktiskt exakt samma slumpobjekt, som producerar samma strömmar. (TIL). I nanochat använde jag tecknet som ett (vad jag trodde var) smart sätt att få olika slumpsekvenser för tåg/test-splits. Därför en riktigt grym bugg eftersom nu tåg=test.
Jag hittade CPython-koden som är ansvarig i cpython/Modules/_randommodule.c [2], där vi på rad 321 ser i en kommentar:
"Den här algoritmen bygger på att numret är osignerat. Så: om argen är en PyLong, använd dess absoluta värde." följt av
n = PyNumber_Absolute(arg);
som uttryckligen anropar abs() på ditt seed för att göra det positivt, och kastar bort teckenbiten.
Men den här kommentaren är faktiskt också fel/missvisande. Under huven kallar Python Mersenne Twister MT19937-algoritmen, som i det generella fallet har tillståndet 19937 (icke-noll) bitar. Python tar din int (eller andra objekt) och "sprider" ut den informationen över dessa bitar. I princip kunde teckenbiten ha använts för att förstärka tillståndsbitarna. Det finns inget med algoritmen som "bygger på att numret är osignerat". Ett beslut togs att inte inkludera skyltdelen (vilket enligt mig var ett misstag). Ett trivialt exempel kan ha varit att avbilda n -> 2*abs(n) + int(n < 0).
Slutligen leder detta oss till kontraktet för Pythons random, som inte heller är helt utstakat i dokumentationen. Kontraktet som nämns är att:
samma frö => samma sekvens.
Men det ges ingen garanti för att olika frön ger olika sekvenser. Så i princip lovar Python inte att t.ex. seed(5) och seed(6) är olika rng-strömmar. (Även om detta ganska ofta antas implicit i många tillämpningar.) Faktum är att vi ser att seed(5) och seed(-5) är identiska strömmar. Och du bör förmodligen inte använda dem för att separera dina tränings-/testbeteenden i maskininlärning. En av de mer underhållande programmeringsskräck-footguns jag nyligen stött på. Vi ses i nästa avsnitt.
[1]
[2]

570,62K
Tänk inte på LLM:er som entiteter utan som simulatorer. Till exempel, när du utforskar ett ämne, fråga inte:
"Vad tycker du om xyz"?
Det finns inget "du". Nästa gång försök:
"Vilken grupp människor skulle vara bra att utforska xyz? Vad skulle de säga?"
LLM:n kan kanalisera/simulera många perspektiv men den har inte "tänkt på" xyz på ett tag och över tid och bildat egna åsikter på det sätt vi är vana vid. Om du tvingar det genom att använda "du" kommer det att ge dig något genom att anta en personlighetsinbäddningsvektor som antyds av statistiken i dess finjusteringsdata och sedan simulera det. Det är okej att göra, men det finns mycket mindre mystik i det än vad jag tror folk naivt tillskriver "att fråga en AI".
400,25K
Topp
Rankning
Favoriter

