Rakastan ilmaisua "ajateltavaksi" konkreettisena, salaperäisenä kognitiivisena kyvynä, jonka ihmiset kokevat, mutta LLM:illä ei ole vastaavaa. Määritelmä: "jotain, mitä kannattaa pohtia tai pohtia, kuten mielen ateria, joka ravitsee mieltäsi ideoilla, oivalluksilla tai syvempää pohdintaa vaativilla asioilla. Sitä käytetään aiheisiin, jotka haastavat näkökulmasi, tarjoavat uutta ymmärrystä tai saavat pohtimaan tärkeitä kysymyksiä, toimien älyllisenä virikkeenä." LLM:n kielessä se on tokenien jono, jota käytetään ajatusketjun kehotteena, ja näytteet ovat palkitsevia seurata jonkin vielä löytämättömän sisäisen palkkiofunktion kautta. Pakkomielteinen siitä, millaisen muodon se ottaa. Ajattelemisen aihetta.

Nopea uusi julkaisu: Kymmenen vuotta vanhojen Hacker News -keskustelujen automaattinen arviointi jälkiviisaudella Otin kaikki 930 etusivun Hacker News -artikkelin + keskustelun joulukuusta 2015 ja pyysin GPT 5.1 Thinking API:ta tekemään jälkiviisauden analyysin tunnistaakseni kaikkein ennakoivimmat tai vähiten ennakoivat kommentit. Tämän vibe-koodin tekeminen vei ~3 tuntia ja pyörittäminen ~1 tunti ja 60 dollaria. Ajatus sai alkunsa HN:n eilisestä artikkelista, jossa Gemini 3:lta pyydettiin hallusinoimaan HN:n etusivua vuosikymmenen päästä. Yleisemmin: 1. Jälkiviisaus on aina kiehtonut minua keinona kouluttaa eteenpäin suuntautuvaa ennustemallia, joten tulosten lukeminen on todella mielenkiintoista ja 2. Kannattaa pohtia, miltä näyttää, kun tulevaisuuden LLM-megamielet voivat tehdä tällaista työtä paljon halvemmalla, nopeammin ja paremmin. Jokainen tieto, jonka tuotat internetiin, voidaan (ja todennäköisesti tullaan) tarkastella yksityiskohtaisesti, jos se on "ilmaista". Tästä syystä myös aiempi twiittini jokin aika sitten – "olkaa kilttejä, tulevat LLM:t katsovat". Onnittelut kymmenelle parhaalle tilille: pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth ja johncolanduoni – GPT 5.1 Thinking piti kommenttejasi HN:n joulukuussa 2015 oivaltavimpina ja ennakoivimpina. Linkkejä: - Paljon enemmän yksityiskohtia blogikirjoituksessani - GitHub-repositio projektista, jos haluat pelata - Varsinaiset tulossivut lukemisen iloksi

Tämän päivän kauhuohjelmajaksossa... Python-dokumentaatiossa random.seed():ssä kerrotaan selvästi, että "Jos a on int, sitä käytetään suoraan." [1] Mutta jos siemennät 3 tai -3, saat itse asiassa täsmälleen saman satunnaisuuden, tuottaen samat virrat. (TIL). Nanochatissa käytin merkkiä (mitä luulin olevan) nerokkaana tapana saada erilaisia satunnaissarjoja juna-/testijakoihin. Siksi gnarly bugi, koska nyt train=test. Löysin CPython-koodin vastuussa cpython/Modules/_randommodule.c [2], jossa rivillä 321 näemme kommentissa: "Tämä algoritmi perustuu siihen, että luku on allekirjoittamaton. Joten: jos arg on PyLong, käytä sen itseisarvoa." n = PyNumber_Absolute(arg); joka nimenomaan kutsuu abs():n siemenessäsi positiiviseksi, jolloin merkkibitti hylätään. Mutta tämä kommentti on oikeasti väärä/harhaanjohtava myös. Konepellin alla Python kutsuu Mersenne Twisteriä MT19937 algoritmiksi, jolla yleisesti ottaen on 19937 (nollasta poikkeava) bittitila. Python ottaa int:si (tai muut objektit) ja "levittää" sen tiedon näiden bittien kesken. Periaatteessa merkkibittiä olisi voitu käyttää tilabittien täydentämiseen. Algoritmissa ei ole mitään, mikä "perustuisi siihen, että luku on allekirjoittamaton". Päätettiin olla sisällyttämättä kylttiosaa (mikä mielestäni oli virhe). Yksi triviaali esimerkki olisi kuvata n -> 2*abs(n) + int(n < 0). Lopuksi tämä johtaa meidät Pythonin satunnaissopimuksen sopimukseen, jota ei myöskään ole täysin selitettynä dokumentaatiossa. Mainittu sopimus on: sama siemen => sama sekvenssi. Mutta ei ole takeita siitä, että eri siemenet tuottavat erilaisia sekvenssejä. Periaatteessa Python ei lupaa esimerkiksi siemen(5) ja siemen(6) eri satunnaisvirtoja. (Vaikka tämä oletetaan monissa sovelluksissa melko yleisesti implisiittisesti.) Itse asiassa näemme, että siemen(5) ja siemen(-5) ovat identtisiä virtoja. Eikä niitä kannata käyttää erottamaan koulutus- ja testauskäyttäytymisiä koneoppimisessa. Yksi viimeaikaisimmista ohjelmointikauhu-footgun-aseista, joita olen viime aikoina kohdannut. Nähdään seuraavassa jaksossa. [1] [2]