من مشروع جانبي مبتكر بني لحل مشاكل تحسين نماذج اللغة الكبيرة الخاصة بهم إلى أن يصبح لوحة النتائج المستقلة الفعلية في الصناعة، مر ميكا هيل-سميث وجورج كاميرون بمسار إطلاق التحليل الاصطناعي مجانا، ودفع تكاليف المقارنة من جيوبهم، وتطويره ليصبح ما يسميه الكثيرون الآن "جارتنر الذكاء الاصطناعي الجديد" للمؤسسات، المختبرات والمطورون. جلسنا مع ميكا وجورج لشرح سبب صعوبة المقارنة المرجعية المستقلة حقا (تباين الفور، تشبع التقييم، سياسات المتسوقين الغامضين)، وكيف تطور مؤشر التحليل الاصطناعي للذكاء مع تعطل المعايير القديمة، وما هي المقاييس الجديدة التي أصبحت مهمة فعليا الآن مثل التقييمات الوكائلية (GDPVal-AA). كما نتعمق في الاقتصاد وراء "منحنى الابتسامة" في الذكاء الاصطناعي: لماذا يصبح الذكاء أرخص بنسبة 100–1000× لكل وحدة بينما ينفجر الإنفاق الكلي، وكيف يغير التفكير والوكلاء كفاءة الرموز، ورهانهم بأن التقييمات يجب أن تتطور باستمرار أو تخاطر بتدريب الصناعة على تحسين الأمور الخاطئة. @swyx @_micah_h @grmcameron