Od nešikovného vedlejšího projektu vytvořeného k řešení vlastních problémů s optimalizací LLM až po to, že se stali de facto nezávislým žebříčkem v oboru, Micah Hill-Smith a George Cameron prošli obdobím spuštění umělé analýzy zdarma, placení nákladů na benchmarking z vlastních nákladů a jeho růstu v to, co mnozí dnes nazývají "novým Gartnerem AI" pro podniky. laboratoře a vývojáře. Posadili jsme se s Micahem a Georgem, abychom rozebírali, proč je skutečně nezávislé benchmarking tak obtížné (rychlé variability, saturace hodnocení, politiky pro tajné zákazníky), jak se Index umělé analytické inteligence vyvíjel, když se staré benchmarky rozbíjely, a jaké nové metriky jsou dnes skutečně důležité, například agentické hodnocení (GDPVal-AA). Také se zabýváme ekonomikou "křivky úsměvu" AI: proč inteligence získává 100–1000× levnější na jednotku, zatímco celkové výdaje explodují, jak uvažování a agenti mění efektivitu tokenů a jejich sázka, že hodnocení se musí neustále vyvíjet, jinak riskuje školení odvětví k optimalizaci na špatné věci. @swyx @_micah_h @grmcameron