Saya sudah lama tidak memposting tentang Model Spec, tetapi Dean memberi saya teriakan atas tulisan saya sebelumnya tentang mereka, jadi inilah saatnya untuk mengatakan secara pasti lagi bahwa setiap lab perbatasan harus memiliki spesifikasi model. Ini membangun kepercayaan jangka panjang dengan pengguna, pengembang, dan regulator. Spesifikasi model menetapkan maksud tentang bagaimana model harus berperilaku, terlepas dari apakah model itu berhasil di dalamnya. Sekali lagi, saya senang mendiskusikan ini dengan laboratorium sebagai konsultasi gratis karena menurut saya ini bagus untuk dunia. Sebagian besar ini tampaknya diblokir pada politik – baik internal di mana tim sebenarnya tidak dapat menyetujui apa yang harus dilakukan model – dan eksternal, di mana laboratorium takut ditolak. Perilaku model-model ini sebenarnya sangat dapat dikendalikan (segera membagikan lebih banyak penelitian yang akan saya ikuti tentang ini!) dan kurangnya spesifikasi model cukup mengerikan sebagai standar komunitas. Tautan ke karya Dean, dan karya lama saya tentang spesifikasi model semuanya ada di bawah ini. Saat Olmo menjadi lebih baik, ini telah ada dalam daftar saya untuk membuatnya dan berbagi prosesnya, kesulitan mengikutinya, dan sebagainya. Saya menyambut baik tekanan untuk perlu menyampaikan ini untuk memberikan contoh yang lebih baik.

OpenAI pantas mendapatkan banyak pujian untuk ini, pujian lagi untuk @joannejang + @johnschulman2