Ho scoperto che stavo progettando i miei strumenti AI al contrario. Ecco un esempio. Questa era la mia catena di elaborazione delle newsletter: leggere le email, chiamare un processore di newsletter, estrarre le aziende e poi aggiungerle al CRM. Questo comportava quattro passaggi diversi, costando $3.69 per ogni mille newsletter elaborate. Prima: Catena di Elaborazione delle Newsletter (prima immagine) Poi ho creato uno strumento di newsletter unificato che combinava tutto utilizzando il Google Agent Development Kit, il framework di Google per costruire strumenti AI di produzione: (seconda immagine) Perché lo strumento di newsletter unificato è più complicato? Include più azioni in un'unica interfaccia (processo, ricerca, estrazione, validazione), implementa la gestione dello stato che traccia i modelli di utilizzo e memorizza i risultati, ha il rate limiting integrato e produce output JSON strutturati con metadati invece di testo semplice. Ma ecco la parte controintuitiva: nonostante sia più complesso internamente, lo strumento unificato è più semplice da usare per il LLM perché fornisce output coerenti e strutturati che sono più facili da analizzare, anche se quegli output sono più lunghi. Per comprendere l'impatto, abbiamo eseguito test di 30 iterazioni per scenario di test. I risultati mostrano l'impatto della nuova architettura: (terza immagine) Siamo stati in grado di ridurre i token del 41% (p=0.01, statisticamente significativo), il che si è tradotto linearmente in risparmi sui costi. Il tasso di successo è migliorato dell'8% (p=0.03) e siamo stati in grado di colpire la cache il 30% delle volte, il che rappresenta un ulteriore risparmio sui costi. Mentre gli strumenti individuali producevano risposte più brevi e "pulite", costringevano il LLM a lavorare di più per analizzare formati incoerenti. Output strutturati e completi da strumenti unificati hanno consentito un'elaborazione LLM più efficiente, nonostante fossero più lunghi. Il mio flusso di lavoro si basava su dozzine di strumenti Ruby specializzati per email, ricerca e gestione delle attività. Ogni strumento aveva la propria interfaccia, gestione degli errori e formato di output. Riunendoli in meta strumenti, le prestazioni finali sono migliori e ci sono enormi risparmi sui costi. Puoi trovare l'architettura completa su GitHub.