Jesteś na rozmowie kwalifikacyjnej na stanowisko inżyniera ML w Stripe. Rekruter pyta: "Ludzie często kwestionują transakcje, które faktycznie zrealizowali. Jak zbudowałbyś model, który przewiduje te fałszywe spory bez żadnych oznaczonych danych?" Ty: "Zaznaczę karty z wysokim wskaźnikiem sporów." Rozmowa zakończona. Oto, co przegapiłeś: Istnieje technika zwana aktywnym uczeniem, która pozwala budować modele nadzorowane bez oznaczonych danych. Jest tańsza i szybsza niż ręczna adnotacja. Pomysł jest prosty: uzyskaj ludzką opinię na temat przykładów, w których model ma największe trudności. Oto jak to działa: ↳ Zacznij od małego: Ręcznie oznacz 1-2% swoich danych. Zbuduj swój pierwszy model na tym małym zbiorze danych. Nie będzie dobry, ale o to chodzi. ↳ Generuj prognozy: Uruchom model na nieoznakowanych danych i zbierz wyniki pewności. Modele probabilistyczne dobrze się tutaj sprawdzają — zwróć uwagę na różnicę między dwoma najwyżej przewidywanymi klasami. ↳ Oznaczaj strategicznie: Uporządkuj prognozy według pewności. Niech ludzie oznaczają tylko przykłady o najniższej pewności. Nie ma sensu oznaczać tego, co model już zna. ↳ Powtarzaj i poprawiaj: Wprowadź oznaczone dane z powrotem do modelu. Trenuj ponownie. Model staje się mądrzejszy w tym, czego nie wie. Zatrzymaj się, gdy wydajność spełnia twoje wymagania. Wskazówka dla profesjonalistów: Użyj prognoz o wysokiej pewności jako pseudo-etykiet obok swoich danych początkowych. Nazywa się to uczeniem kooperacyjnym i jeszcze bardziej przyspiesza proces. Jedna rzecz, na którą należy zwrócić uwagę: Twój wskaźnik pewności musi być wiarygodny. Jeśli to zepsujesz, każda iteracja treningowa ucierpi. Aktywne uczenie oszczędza tygodnie czasu na oznaczanie. Firmy takie jak Google i Meta używają go do budowania modeli na ogromnych nieoznakowanych zbiorach danych. 👉 Teraz twoja kolej: Czy używałeś aktywnego uczenia w produkcji? W moim następnym tweecie znajdziesz link do mojego otwartego repozytorium GitHub, ai-engineering-hub. Zawiera ponad 90 praktycznych projektów z kodem. Wszystko jest w 100% otwarte (21k+ gwiazdek 🌟)

W końcu, otwartoźródłowa biblioteka Pythona do inżynierii kontekstu! Pixeltable to zjednoczony, deklaratywny framework, który obsługuje cały Twój multimodalny pipeline, od przechowywania danych po wykonanie modelu. Pomysł jest prosty: zamiast łączyć bazę danych wektorowych, bazę danych SQL, usługę osadzania i framework agenta, wszystko znajduje się w jednym systemie. Twoje dokumenty, osadzenia, historia rozmów i wyniki agenta to wszystko po prostu tabele. Osadzenia to kolumny obliczeniowe, które aktualizują się automatycznie. Wyszukiwanie wektorowe działa obok Twoich regularnych operacji na danych. Stworzony do inżynierii kontekstu end-to-end! Podzieliłem się notatnikiem startowym na temat budowania pipeline'u inżynierii kontekstu z Pixeltable. Szczegóły w poście cytowanym poniżej:

95% inżynierii AI to po prostu inżynieria kontekstu. Wszyscy są obsesyjnie skupieni na lepszych modelach, podczas gdy kontekst pozostaje prawdziwym wąskim gardłem. Nawet najlepszy model na świecie da ci śmieci, jeśli podasz mu błędne informacje. Oto, co większość ludzi pomija: Inżynieria kontekstu to nie tylko RAG, pamięć czy agenci. To sztuka i nauka dostarczania właściwych informacji, w odpowiednim formacie, w odpowiednim czasie, do twojego LLM. Pomyśl o tym, czego naprawdę potrzebujesz: ↳ Retrieval, aby pobrać odpowiednie dokumenty ↳ Pamięć krótkoterminowa, aby śledzić rozmowy ↳ Pamięć długoterminowa, aby zapamiętać preferencje użytkownika ↳ Agenci, aby zorganizować wszystko ↳ Narzędzia, aby rozszerzyć możliwości To 5 różnych systemów, które musisz zbudować, połączyć i utrzymać. Ostatnio budowałem z Pixeltable i to interesujące podejście do tego problemu. Jest to open-source i traktuje inżynierię kontekstu jako zjednoczony problem danych: Pomysł jest prosty: zamiast łączyć bazę danych wektorów, bazę danych SQL, usługę osadzania i ramy agentów, wszystko żyje w jednym systemie. Twoje dokumenty, osadzenia, historia rozmów i wyniki agentów to wszystko po prostu tabele. Osadzenia to kolumny obliczeniowe, które aktualizują się automatycznie. Wyszukiwanie wektorowe działa obok twoich regularnych operacji na danych. Co uważam za przydatne: ↳ RAG pipelines bez zarządzania oddzielnymi bazami danych ↳ Pamięć długoterminowa poprzez wyszukiwanie wektorowe w historycznych rozmowach ↳ Przepływy pracy z wieloma agentami, które utrzymują się automatycznie ↳ Zarządzanie budżetem tokenów wbudowane w ramy To nie jest magiczne, ale usuwa wiele obciążeń integracyjnych. Nie walczysz z trzema różnymi API, aby sprawić, by retrieval, pamięć i agenci współpracowali ze sobą. Podzieliłem się starterowym notatnikiem w następnym tweecie na temat budowania pipeline'u inżynierii kontekstu z Pixeltable. Obejmuje wszystkie komponenty i rzeczy, które omówiliśmy tutaj. Wszystko jest w 100% open-source.