Sobre como estamos a usar AI e @lancedb internamente!

Descobri que estava a desenhar as minhas ferramentas de IA ao contrário. Aqui está um exemplo. Esta era a minha cadeia de processamento de newsletters: ler e-mails, chamar um processador de newsletters, extrair empresas e, em seguida, adicioná-las ao CRM. Isso envolvia quatro etapas diferentes, custando $3,69 por cada mil newsletters processadas. Antes: Cadeia de Processamento de Newsletters (primeira imagem) Depois criei uma ferramenta de newsletter unificada que combinava tudo usando o Google Agent Development Kit, a estrutura do Google para construir ferramentas de agentes de IA de nível de produção: (segunda imagem) Por que a ferramenta de newsletter unificada é mais complicada? Inclui múltiplas ações em uma única interface (processar, pesquisar, extrair, validar), implementa gestão de estado que rastreia padrões de uso e armazena resultados em cache, tem limitação de taxa embutida e produz saídas JSON estruturadas com metadados em vez de texto simples. Mas aqui está a parte contraintuitiva: apesar de ser mais complexa internamente, a ferramenta unificada é mais simples para o LLM usar porque fornece saídas consistentes e estruturadas que são mais fáceis de analisar, mesmo que essas saídas sejam mais longas. Para entender o impacto, realizamos testes de 30 iterações por cenário de teste. Os resultados mostram o impacto da nova arquitetura: (terceira imagem) Conseguimos reduzir os tokens em 41% (p=0.01, estatisticamente significativo), o que se traduziu linearmente em economias de custo. A taxa de sucesso melhorou em 8% (p=0.03) e conseguimos acessar o cache 30% das vezes, o que representa mais uma economia de custo. Enquanto ferramentas individuais produziam respostas mais curtas e "limpas", forçavam o LLM a trabalhar mais para analisar formatos inconsistentes. Saídas estruturadas e abrangentes de ferramentas unificadas permitiram um processamento mais eficiente do LLM, apesar de serem mais longas. O meu fluxo de trabalho dependia de dezenas de ferramentas Ruby especializadas para e-mail, pesquisa e gestão de tarefas. Cada ferramenta tinha sua própria interface, tratamento de erros e formato de saída. Ao agrupá-las em ferramentas meta, o desempenho final é melhor e há enormes economias de custo. Você pode encontrar a arquitetura completa no GitHub.

“A maneira de fazer um texto é três ou quatro vezes, nunca uma só.” Escrever é difícil. John McPhee, que inventou a não-ficção literária que lê como um romance, desenvolveu um método de escrita em quatro rascunhos que transforma ideias caóticas em narrativas envolventes. McPhee foi pioneiro na não-ficção criativa na The New Yorker, escrevendo livros como Oranges & Coming into the Country que tornaram assuntos complexos fascinantes através da narrativa. Sua abordagem difere do jornalismo tradicional ao incorporar técnicas de ficção enquanto mantém a precisão factual. Sua prosa combina imagens vívidas com economia: “O médico escuta com um estetoscópio e ouve sons de um tambor de guerra indígena.” Ele favorecia a clareza: “Ele gostava de ir de A a B sem inventar letras entre.” Sobre seu gênero, McPhee disse: “Não-ficção—que diabos, isso apenas diz, isto é não-grafite que estamos tendo esta manhã.” McPhee mais tarde codificou sua abordagem em Draft No. 4: On the Writing Process, compartilhando décadas de sabedoria sobre escrita. Sua filosofia organizacional molda tudo: “Você pode construir uma estrutura de tal forma que faça as pessoas quererem continuar virando páginas. Uma estrutura envolvente na não-ficção pode ter um efeito atrativo análogo a uma linha de história na ficção. Os leitores não devem notar a estrutura. Ela deve ser tão visível quanto os ossos de alguém.” O Quadro de Quatro Rascunhos de McPhee: 1. Rascunho de despejo de ideias - Capture todas as possíveis ideias, fatos e ângulos sem editar ou julgar 2. Rascunho de estrutura - Organize ideias em sequências lógicas e identifique o fio narrativo central 3. Rascunho de cortes implacáveis - Remova tudo que não serve à mensagem principal ou confunde o leitor 4. Rascunho de polimento - Refine a prosa, corrija a gramática e assegure que cada frase avance em direção ao seu objetivo Esta é uma das melhores técnicas que encontrei para escrever. O método funciona porque separa o pensamento criativo da avaliação crítica. Quando você tenta escrever uma prosa perfeita enquanto gera ideias, é fácil cair em um bloqueio criativo. Cada rascunho se torna a base para o próximo, criando um processo recursivo que transforma pensamentos caóticos em narrativas estruturadas. Como descascar as camadas de uma laranja para revelar a fruta dentro, cada rascunho remove o que não pertence, revelando a história essencial que sempre esteve lá, esperando para ser descoberta.