Jag älskar uttrycket "mat för tanke" som en konkret, mystisk kognitiv förmåga som människor upplever men som LLM inte har något motsvarighet till. Definition: "något värt att fundera på eller överväga, som en mental måltid som ger näring åt ditt sinne med idéer, insikter eller frågor som kräver djupare reflektion. Den används för ämnen som utmanar ditt perspektiv, ger ny förståelse eller får dig att fundera över viktiga frågor, och fungerar som intellektuell stimulans." Så i LLM-språk är det en sekvens av tokens så att när de används som prompt för tankekedjan är proverna belönande att ta hand om, via någon ännu oupptäckt inneboende belöningsfunktion. Besatt av vilken form det tar. Tankeställare.

Snabbt nytt inlägg: Automatisk gradering av tio år gamla diskussioner på Hacker News med efterklokhet Jag tog alla 930 förstasidesartikel på Hacker News + diskussion från december 2015 och bad GPT 5.1 Thinking API att göra en efterhandsanalys för att identifiera de mest och minst förutseende kommentarerna. Det tog ~3 timmar att vibbe kod och ~1 timme och 60 dollar att köra. Idén väcktes av HN-artikeln igår där Gemini 3 ombads hallucinera HN:s förstasida ett decennium framåt. Mer generellt: 1. efterklokhetsanalys har alltid fascinerat mig som ett sätt att träna din framåtriktade prediktionsmodell, så att läsa resultaten är verkligen intressant och 2. Det är värt att fundera på hur det ser ut när framtidens LLM-megahjärnor kan göra den här typen av arbete mycket billigare, snabbare och bättre. Varje liten information du bidrar med till internet kan (och kommer troligen att bli) granskad i detalj om den är "gratis". Därför också min tidigare tweet från ett tag tillbaka – "var snäll, framtida LLM:er tittar". Grattis till de 10 bästa kontona pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth och johncolanduoni - GPT 5.1 Thinking fann dina kommentarer vara de mest insiktsfulla och förutseende av alla kommentarer från HN i december 2015. Länkar: - Mycket mer detaljer i mitt blogginlägg - GitHub-repo för projektet om du vill spela - De faktiska resultatsidorna för din läsglädje

I dagens avsnitt av skräckprogrammering... I Python-dokumenten för random.seed() def får vi veta "Om a är en int, används den direkt." [1] Men om du seedar med 3 eller -3 får du faktiskt exakt samma slumpobjekt, som producerar samma strömmar. (TIL). I nanochat använde jag tecknet som ett (vad jag trodde var) smart sätt att få olika slumpsekvenser för tåg/test-splits. Därför en riktigt grym bugg eftersom nu tåg=test. Jag hittade CPython-koden som är ansvarig i cpython/Modules/_randommodule.c [2], där vi på rad 321 ser i en kommentar: "Den här algoritmen bygger på att numret är osignerat. Så: om argen är en PyLong, använd dess absoluta värde." följt av n = PyNumber_Absolute(arg); som uttryckligen anropar abs() på ditt seed för att göra det positivt, och kastar bort teckenbiten. Men den här kommentaren är faktiskt också fel/missvisande. Under huven kallar Python Mersenne Twister MT19937-algoritmen, som i det generella fallet har tillståndet 19937 (icke-noll) bitar. Python tar din int (eller andra objekt) och "sprider" ut den informationen över dessa bitar. I princip kunde teckenbiten ha använts för att förstärka tillståndsbitarna. Det finns inget med algoritmen som "bygger på att numret är osignerat". Ett beslut togs att inte inkludera skyltdelen (vilket enligt mig var ett misstag). Ett trivialt exempel kan ha varit att avbilda n -> 2*abs(n) + int(n < 0). Slutligen leder detta oss till kontraktet för Pythons random, som inte heller är helt utstakat i dokumentationen. Kontraktet som nämns är att: samma frö => samma sekvens. Men det ges ingen garanti för att olika frön ger olika sekvenser. Så i princip lovar Python inte att t.ex. seed(5) och seed(6) är olika rng-strömmar. (Även om detta ganska ofta antas implicit i många tillämpningar.) Faktum är att vi ser att seed(5) och seed(-5) är identiska strömmar. Och du bör förmodligen inte använda dem för att separera dina tränings-/testbeteenden i maskininlärning. En av de mer underhållande programmeringsskräck-footguns jag nyligen stött på. Vi ses i nästa avsnitt. [1] [2]