Je n'ai pas posté sur les spécifications de modèle depuis un moment, mais Dean m'a mentionné dans mon écriture précédente à leur sujet, donc il est temps de dire de manière définitive à nouveau que chaque laboratoire de frontière devrait avoir une spécification de modèle. Cela établit une confiance à long terme avec les utilisateurs, les développeurs et les régulateurs. La spécification de modèle définit les intentions de la manière dont le modèle doit se comporter, peu importe s'il réussit ou non. Encore une fois, je suis heureux de discuter de cela avec les laboratoires lors d'une consultation gratuite car je pense que c'est formidable pour le monde. Dans l'ensemble, cela semble être bloqué par la politique -- à la fois interne où les équipes ne peuvent en fait pas s'accorder sur ce que le modèle devrait faire -- et externe, où les laboratoires craignent des réactions négatives. Le comportement de ces modèles est en fait remarquablement orientable (je partagerai bientôt plus de recherches auxquelles je participe à ce sujet !) et le manque de spécifications de modèle est assez terrible en tant que norme communautaire. Les liens vers l'article de Dean et mes anciens articles sur les spécifications de modèle sont tous ci-dessous. Alors qu'Olmo s'améliore, cela a été sur ma liste de créer une spécification et de partager le processus, les difficultés à le suivre, et ainsi de suite. J'accueille la pression pour devoir livrer cela afin de donner un meilleur exemple.

OpenAI mérite beaucoup de crédit pour cela, bravo encore à @joannejang + @johnschulman2