Jeg har ikke postet om modellspesifikasjoner på en stund, men Dean ga meg en shoutout på min tidligere skriving om dem, så det er på tide å si definitivt igjen at hvert grenselaboratorium bør ha en modellspesifikasjon. Det bygger langsiktig tillit hos brukere, utviklere og regulatorer. Modellspesifikasjonen angir intensjonene for hvordan modellen skal oppføre seg, uavhengig av om den lykkes med det. Igjen, jeg er glad for å diskutere dette med laboratorier som en gratis konsultasjon, da jeg tror det er flott for verden. I stor grad ser disse ut til å være blokkert på politikk – både internt der teamene faktisk ikke kan bli enige om hva modellen skal gjøre – og eksternt, der laboratorier frykter pushback. Oppførselen til disse modellene er faktisk bemerkelsesverdig styrbar (deler mer forskning jeg er involvert i om dette snart!) og mangelen på modellspesifikasjoner er ganske forferdelig som en fellesskapsstandard. Lenker til Deans artikkel, og mine eldre stykker om modellspesifikasjoner er alle nedenfor. Etter hvert som Olmo blir bedre, har dette vært på listen min for å lage en og dele prosessen, vanskeligheter med å følge den, og så videre. Jeg hilser presset på behovet for å levere dette velkommen for å gå foran med et bedre eksempel.

OpenAI fortjener MYE kreditt for dette, kudos igjen til @joannejang + @johnschulman2