Zjistil jsem, že své nástroje umělé inteligence navrhuji obráceně. Zde je příklad. Tohle byl můj řetězec zpracování newsletterů: čtení e-mailů, volání zpracovateli newsletterů, extrahování společností a jejich následné přidávání do CRM. To zahrnovalo čtyři různé kroky, které stály 3,69 USD za každých tisíc zpracovaných newsletterů. Před: Řetězec zpracování newsletterů (první obrázek) Poté jsem vytvořil jednotný nástroj pro zasílání newsletterů, který vše kombinoval pomocí sady Google Agent Development Kit, rámce společnosti Google pro vytváření nástrojů agentů umělé inteligence: (druhý obrázek) Proč je jednotný nástroj pro zasílání newsletterů složitější? Zahrnuje více akcí v jediném rozhraní (proces, vyhledávání, extrakce, ověřování), implementuje správu stavu, která sleduje vzorce použití a cachuje výsledky, má zabudované omezení rychlosti a vytváří strukturované výstupy JSON s metadaty místo prostého textu. Ale zde je ta neintuitivní část: přestože je jednotný nástroj interně složitější, je pro LLM jednodušší na použití, protože poskytuje konzistentní, strukturované výstupy, které se snáze analyzují, i když jsou tyto výstupy delší. Abychom pochopili dopad, provedli jsme testy 30 iterací na každý testovací scénář. Výsledky ukazují dopad nové architektury: (třetí obrázek) Podařilo se nám snížit počet tokenů o 41 % (p=0,01, statisticky významné), což se lineárně promítlo do úspory nákladů. Úspěšnost se zlepšila o 8 % (p = 0,03) a byli jsme schopni zasáhnout cache ve 30 % případů, což je další úspora nákladů. Zatímco jednotlivé nástroje produkovaly kratší, "čistší" odpovědi, donutily LLM pracovat tvrději na analýze nekonzistentních formátů. Strukturované, komplexní výstupy z unifikovaných nástrojů umožnily zefektivnit zpracování LLM, přestože byly delší. Můj pracovní postup se opíral o desítky specializovaných nástrojů Ruby pro e-mail, výzkum a správu úkolů. Každý nástroj měl své vlastní rozhraní, zpracování chyb a výstupní formát. Jejich shrnutím do meta nástrojů je konečný výkon lepší a dochází k obrovským úsporám nákladů. Kompletní architekturu najdete na GitHubu.