Jag har inte skrivit om Model Spec's på ett tag, men Dean gav mig en shoutout på mitt tidigare skrivande om dem, så det är dags att definitivt igen säga att varje Frontier lab bör ha en modell spec. Det bygger långsiktigt förtroende hos användare, utvecklare och tillsynsmyndigheter. Modellspecifikationen anger intentionerna för hur modellen ska bete sig, oavsett om den lyckas med det. Återigen, jag är glad att diskutera detta med laboratorier som en gratis konsultation eftersom jag tror att det är bra för världen. Till stor del verkar dessa vara blockerade på grund av politik – både internt där teamen faktiskt inte kan komma överens om vad modellen ska göra – och externt, där laboratorierna är rädda för motreaktioner. Beteendet hos dessa modeller är faktiskt anmärkningsvärt styrbart (delar mer forskning jag är involverad i om detta snart!) och bristen på modellspecifikationer är ganska hemsk som en gemenskapsstandard. Länkar till Deans stycke, och mina äldre bitar om modellspecifikationer finns alla nedan. När Olmo blir bättre har detta varit på min lista för att skapa en och dela processen, svårigheter att följa den och så vidare. Jag välkomnar pressen på att vi måste leverera detta för att föregå med gott exempel.

OpenAI förtjänar MYCKET beröm för detta, kudos igen till @joannejang + @johnschulman2