Kendi LLM optimizasyon sorunlarını çözmek için kurulan karmaşık bir yan projeden, sektörün fiili bağımsız skor tablosuna dönüşen Micah Hill-Smith ve George Cameron, Yapay Analiz'i ücretsiz olarak başlatma, kıyaslama maliyetlerini cebinden ödeyip birçok kişinin işletmeler için "yeni Gartner" olarak adlandırdığı bir çizgiyi yaşattı. laboratuvarlar ve geliştiriciler. Micah ve George ile gerçekten bağımsız kıyaslama yapmanın neden bu kadar zor olduğunu (anlık varyans, değerlendirme doygunluğu, gizli alışverişçi politikaları), eski kıyaslamalar kırıldıkça Yapay Analiz Zeka Endeksi'nin nasıl evrildiğini ve ajanik değerlendirmeler (GDPVal-AA) gibi yeni metriklerin artık gerçekten önemli olduğunu anlattık. Ayrıca yapay zekanın "gülümseme eğrisi"nin ekonomisini inceleyeceğiz: neden zekanın birim başına 100–1000 × ucuzlaşırken toplam harcama patlaması, akıl yürütme ve ajanların token verimliliğini nasıl değiştirdiği ve değerlendirmelerin sürekli gelişmesi veya sektörü yanlış şeyler için optimize etmesi için eğitim alma riski taşıması gerektiği iddiası. @swyx @_micah_h @grmcameron