Jak wykorzystujemy AI i @lancedb wewnętrznie!

Odkryłem, że projektowałem moje narzędzia AI w odwrotny sposób. Oto przykład. To był mój proces przetwarzania newsletterów: czytanie e-maili, wywoływanie procesora newsletterów, ekstrakcja firm, a następnie dodawanie ich do CRM. To obejmowało cztery różne kroki, kosztując 3,69 USD za każde tysiąc przetworzonych newsletterów. Przed: Proces przetwarzania newsletterów (pierwszy obraz) Następnie stworzyłem zintegrowane narzędzie do newsletterów, które połączyło wszystko, korzystając z Google Agent Development Kit, frameworka Google do budowania narzędzi AI klasy produkcyjnej: (drugi obraz) Dlaczego zintegrowane narzędzie do newsletterów jest bardziej skomplikowane? Zawiera wiele działań w jednym interfejsie (przetwarzanie, wyszukiwanie, ekstrakcja, walidacja), implementuje zarządzanie stanem, które śledzi wzorce użycia i buforuje wyniki, ma wbudowane ograniczenia przepustowości i produkuje strukturalne wyjścia JSON z metadanymi zamiast zwykłego tekstu. Ale oto część, która jest nieintuicyjna: mimo że jest bardziej złożone wewnętrznie, zintegrowane narzędzie jest prostsze w użyciu dla LLM, ponieważ dostarcza spójne, strukturalne wyjścia, które są łatwiejsze do przetworzenia, mimo że te wyjścia są dłuższe. Aby zrozumieć wpływ, przeprowadziliśmy testy 30 iteracji na każdy scenariusz testowy. Wyniki pokazują wpływ nowej architektury: (trzeci obraz) Udało nam się zmniejszyć liczbę tokenów o 41% (p=0.01, statystycznie istotne), co przełożyło się liniowo na oszczędności kosztów. Wskaźnik sukcesu poprawił się o 8% (p=0.03), a my byliśmy w stanie trafić do pamięci podręcznej 30% czasu, co jest kolejną oszczędnością kosztów. Podczas gdy poszczególne narzędzia produkowały krótsze, "czystsze" odpowiedzi, zmuszały LLM do cięższej pracy przy analizowaniu niespójnych formatów. Strukturalne, kompleksowe wyjścia z zintegrowanych narzędzi umożliwiły bardziej efektywne przetwarzanie LLM, mimo że były dłuższe. Mój przepływ pracy opierał się na dziesiątkach wyspecjalizowanych narzędzi Ruby do e-maili, badań i zarządzania zadaniami. Każde narzędzie miało swój własny interfejs, obsługę błędów i format wyjścia. Łącząc je w narzędzia meta, ostateczna wydajność jest lepsza, a oszczędności kosztów są ogromne. Pełną architekturę można znaleźć na GitHubie.

„Sposób na napisanie tekstu to trzy lub cztery razy, nigdy raz.” Pisanie jest trudne. John McPhee, który wynalazł literacką non-fiction, która czyta się jak powieść, opracował metodę pisania w czterech wersjach, która przekształca chaotyczne pomysły w porywające narracje. McPhee był pionierem kreatywnej non-fiction w The New Yorker, pisząc książki takie jak Oranges i Coming into the Country, które uczyniły złożone tematy fascynującymi dzięki opowiadaniu historii. Jego podejście różni się od tradycyjnego dziennikarstwa, ponieważ włącza techniki fikcyjne, zachowując jednocześnie dokładność faktów. Jego proza łączy żywe obrazy z oszczędnością: „Lekarz słucha przez stetoskop i słyszy dźwięki bębna wojennego Indian.” Preferował bezpośredniość: „Lubił przechodzić od A do B, nie wymyślając liter pomiędzy.” O swoim gatunku McPhee powiedział: „Non-fiction—co do diabła, to po prostu mówi, że to nie jest grejpfrut, który mamy dzisiaj rano.” McPhee później skodyfikował swoje podejście w Draft No. 4: On the Writing Process, dzieląc się dekadami pisarskiej mądrości. Jego filozofia organizacyjna kształtuje wszystko: „Możesz zbudować strukturę w taki sposób, że sprawia, że ludzie chcą przewracać strony. Porywająca struktura w non-fiction może mieć efekt przyciągający analogiczny do fabuły w fikcji. Czytelnicy nie powinni zauważać struktury. Ma być tak widoczna, jak czyjeś kości.” Czterowarstwowa struktura McPhee’a: 1. Wersja robocza - Zapisz każdy możliwy pomysł, fakt i kąt bez edytowania lub oceny 2. Wersja strukturalna - Zorganizuj pomysły w logiczne sekwencje i zidentyfikuj główną nitkę narracyjną 3. Wersja bezlitosnego cięcia - Usuń wszystko, co nie służy głównemu przesłaniu lub myli czytelnika 4. Wersja polerująca - Udoskonal prozę, popraw gramatykę i upewnij się, że każde zdanie prowadzi do twojego celu To jedna z najlepszych technik, jakie znalazłem do pisania. Metoda działa, ponieważ oddziela myślenie kreatywne od krytycznej oceny. Kiedy próbujesz napisać doskonałą prozę, generując pomysły, łatwo wpaść w blokadę twórczą. Każda wersja staje się fundamentem dla następnej, tworząc proces rekurencyjny, który przekształca chaotyczne myśli w uporządkowane narracje. Jak obieranie warstw pomarańczy, aby ujawnić owoc w środku, każda wersja zdejmuje to, co nie należy, ujawniając istotną historię, która zawsze czekała na odkrycie.