Huomasin, että suunnittelin tekoälytyökalujani takaperin. Tässä on esimerkki. Tämä oli uutiskirjeiden käsittelyketjuni: sähköpostien lukeminen, uutiskirjeiden käsittelijän soittaminen, yritysten poimiminen ja niiden lisääminen CRM:ään. Tämä sisälsi neljä eri vaihetta, jotka maksoivat 3,69 dollaria jokaista tuhatta käsiteltyä uutiskirjettä kohden. Ennen: Uutiskirjeen käsittelyketju (ensimmäinen kuva) Sitten loin yhtenäisen uutiskirjetyökalun, joka yhdisti kaiken käyttämällä Google Agent Development Kitiä, Googlen kehystä tuotantoluokan tekoälyagenttityökalujen rakentamiseen: (toinen kuva) Miksi yhtenäinen uutiskirjetyökalu on monimutkaisempi? Se sisältää useita toimintoja yhdessä käyttöliittymässä (prosessi, haku, poiminta, validointi), toteuttaa tilanhallinnan, joka seuraa käyttötapoja ja tallentaa tulokset välimuistiin, siinä on sisäänrakennettu nopeuden rajoitus ja se tuottaa strukturoituja JSON-tulosteita, joissa on metatietoja pelkän tekstin sijaan. Mutta tässä on intuitiivisen vastainen osa: vaikka yhtenäinen työkalu on sisäisesti monimutkaisempi, LLM:n käyttö on yksinkertaisempaa, koska se tarjoaa johdonmukaisia, jäsenneltyjä tulosteita, joita on helpompi jäsentää, vaikka nämä lähdöt ovat pidempiä. Vaikutuksen ymmärtämiseksi suoritimme testejä 30 iteraatiota testiskenaariota kohden. Tulokset osoittavat uuden arkkitehtuurin vaikutuksen: (kolmas kuva) Pystyimme vähentämään tokeneita 41 % (p=0,01, tilastollisesti merkitsevä), mikä johti lineaarisesti kustannussäästöihin. Onnistumisprosentti parani 8 % (p = 0,03), ja pystyimme osumaan välimuistiin 30 % ajasta, mikä on toinen kustannussäästö. Vaikka yksittäiset työkalut tuottivat lyhyempiä, "puhtaampia" vastauksia, ne pakottivat LLM:n työskentelemään kovemmin epäjohdonmukaisten formaattien jäsentämiseksi. Yhtenäisten työkalujen jäsennellyt, kattavat tuotokset mahdollistivat tehokkaamman LLM-käsittelyn, vaikka se oli pidempi. Työnkulkuni perustui kymmeniin erikoistuneisiin Ruby-työkaluihin sähköpostiin, tutkimukseen ja tehtävien hallintaan. Jokaisella työkalulla oli oma käyttöliittymänsä, virheenkäsittely ja tulostusmuotonsa. Kun ne yhdistetään metatyökaluiksi, lopullinen suorituskyky on parempi, ja kustannussäästöt ovat valtavat. Löydät koko arkkitehtuurin GitHubista.