Pienet mallit voivat myös olla hyviä järkeilijöitä. Tässä on ongelma ja ehdotettu ratkaisu: Pienet mallit huononevat usein, kun SFT ne opettajan CoT-jäljillä. Tämä artikkeli kiinnittää epäonnistumisen jakaumavirheeseen ja esittelee käänteisen spekulatiivisen dekoodauksen (RSD): jäljityksen luomisen aikana opettaja ehdottaa tokeneita, mutta oppilas hyväksyy vain tokeneita, jotka ovat riittävän todennäköisiä sen omassa jakaumassa. Tuloksena on opiskelijaystävällisiä jälkiä, jotka säilyttävät oikeellisuuden ja pitävät vaiheittaiset yllätykset hallittavissa. RSD käyttää hylkäysnäytteenottoa valitakseen oikeat, kohdistetut jäljet ja yhdistääkseen sen UPFT-etuliitteisiin ratkaisemattomille kohteille: kouluta täydet jäljet siellä, missä RSD löytää oikean ratkaisun, ja kouluta ensimmäiset 128 merkkiä, joissa se ei löydy. Qwen3-0.6B:hen sovellettuna s1K-1.1-päättelyjälketietojen suora tislaus heikentää keskimääräistä suorituskykyä 20.5 %, kun taas sama RSD:n luomilla päättelyjäljillä koulutettu malli saavuttaa merkittäviä 4.9 %:n parannuksia. Paperi:

Hienoa työtä, joka osoittaa nopean synteesin uutena skaalausakselina päättelyyn. Hyviä koulutustietoja on vähän. Tämä työ esittelee kehyksen, jonka avulla voidaan rakentaa korkealaatuisia koulutusongelmia päättelyyn keskittyville LLM-opiskelijoille. Tekniset tiedot alla:

On hämmästyttävää, kuinka loistava orkestraattori GPT-5 on. Jos rakennat Claude-koodin kaltaista agenttijärjestelmää mille tahansa verkkotunnukselle, GPT-5:n pitäisi olla yksi parhaista malleistasi. Jos rakennat orkestraattori-työntekijä-moniagenttijärjestelmiä koodauksen ulkopuolisille verkkotunnuksille, GPT-5 on pakollinen! GPT-5 toimii hyvin monilla aloilla, koska se ymmärtää tarkoituksen ja pystyy järkeilemään paljon dataa todella hyvin. Se täyttää erinomaisesti aukkoja, mikä auttaa kehittäjiä, jotka normaalisti alimäärittelevät agenttinsa. Tekoälyagentit ovat täynnä mielenkiintoisia nousevia käyttäytymismalleja, jotka hyödyttävät käyttökokemusta, mutta se on mahdollista vain kehittyneillä malleilla, kuten GPT-5:llä, jotka orkestroivat sugagenttien välistä viestintää. Kuten kuvasta näkyy, käytin sitä dynaamisen ja agenttisen järjestelmän rakentamiseen asiakastukeen. Yksi orkestraattoriagentti (GPT-5:n avulla) voi tehokkaasti suunnitella ja organisoida kaikenlaisen tiedon (transkriptiot, sisäiset KB:t, asiakirjat, Internet-foorumit jne.) tehokkaan haun. Koska kyseessä on monihakujärjestelmä, tarvitset erittäin älykkään mallin orkestroinnin hoitamiseen, koska aliagentit jäävät joustaviin vetämään järjestelmään kaikenlaisia yhteyksiä. GPT-5 mahdollistaa tämän joustavuuden, koska se pystyy käsittelemään ja perustelemaan monenlaisia tietoja. Jos työkalumääritykset on määritetty oikein, tämä parantaa entisestään GPT-5:n kykyä hyödyntää kaikkia työkaluja ja kontekstia, johon sillä on pääsy. Jos olet käyttänyt Claude Codea aliagenttien kanssa, tiedät tarkalleen, mistä puhun. Tavallaan koko tämä asiakastukiagentin RAG-järjestelmä rakennettiin Claude Coden innoittamana. Mutta paras malli koodauksen ulkopuolisiin ongelmiin on GPT-5. Rakensin evalin vahvistaakseni tämän, joten tämä ei ollut vain silmämunan tuloksia. Käsittelin tätä juuri tarkemmin akatemiani subeissa täällä: Lisäksi huomasin, että GPT-5-Codex toimii hyvin tässä työnkulussa, mutta se ei silti ole yhtä hyvä kuin GPT-5. Kokeilin myös GPT-5-miniä ja jäin mielettömäksi sen tehokkuudesta tässä käyttötapauksessa. Claude 4 on liian kallis tähän, eikä Gemini 2.5 Pro ole lähelläkään GPT-5:tä (vaikka se tuottaa myös hyviä tuloksia). Useimmat näistä muista malleista eivät olleet johdonmukaisia, ja joskus ne kutsuivat työkaluja väärässä järjestyksessä tai väärillä parametreilla (vahvista tämä työkalukutsun avulla). Pieni järjestelmän nopea viritys voisi auttaa, mutta GPT-5 on silti ylivoimainen.