Konsekwencją jest to, że dzięki agentom AI każda mała firma i przedsiębiorca mają teraz do dyspozycji zasoby firmy z listy Fortune 500. Technologia zawsze polegała na produkowaniu większej obfitości i lepszego dostępu do danego zasobu. Robiliśmy to z oprogramowaniem przez dziesięciolecia, od mainframe'ów, przez klient-serwer, po chmurę. Każdy z tych okresów sprawił, że technologia stała się 10-100 razy bardziej dostępna dla większej liczby firm. AI robi to samo teraz w każdej dziedzinie pracy opartej na wiedzy. Dlaczego zaawansowane kodowanie jest dostępne tylko dla mikroskopijnie małego zestawu firm na świecie? Dlaczego ogromna większość firm nie może sobie pozwolić na świetną reklamę? Dlaczego tylko mały podzbiór firm otrzymuje doskonałe porady prawne, bezpieczeństwo oprogramowania, badania i prawie każdą inną dziedzinę pracy opartej na wiedzy? AI przynosi wszystkie te możliwości firmom każdej wielkości. Największe możliwości w agentach AI polegają na ustaleniu, jakie zasoby zawsze chciały mieć firmy, ale nigdy nie mogły sobie na nie pozwolić ani ich znaleźć.

Oto dlaczego inżynieria kontekstu jest tak ważna. Właśnie spędziliśmy 2 godziny na debacie, kiedy agent powinien polegać na swojej wewnętrznej wiedzy, a kiedy próbować znaleźć odpowiedni kontekst w danych dla tylko jednego typu pytania. Przeszliśmy przez 2 przypadki testowe z setek. Nawet osoby zaangażowane w burzę mózgów nie mogły się zgodzić, czego oczekiwałyby od ludzi w tej sytuacji. Naprawdę nie było właściwej odpowiedzi, a to zawsze zależy od kontekstu, klient po kliencie. Wszystko w inżynierii kontekstu to kompromis między różnymi czynnikami: jak szybko chcesz, aby agent odpowiedział na pytanie, ile interakcji chcesz wymagać od użytkownika, ile pracy powinien wykonać przed próbą odpowiedzi na pytanie, jak wie, że ma wyczerpujące materiały źródłowe do odpowiedzi na pytanie, jaki jest poziom ryzyka błędnej odpowiedzi itd. Każda decyzja, którą podejmujesz w jednym z tych wymiarów, ma konsekwencje na drugim końcu. Nie ma darmowego obiadu. Dlatego budowanie agentów AI jest tak szalone. Podkreśla to również, jak wiele wartości znajduje się powyżej warstwy LLM. Dokładne podejmowanie tych decyzji ma bezpośredni związek z jakością propozycji wartości.

Z najnowszego posta Karpathy’ego: "Aplikacje LLM będą organizować, dostosowywać i faktycznie animować zespoły z nich w profesjonalistów wdrożonych w określonych dziedzinach, dostarczając prywatne dane, czujniki, aktuatory i pętle sprzężenia zwrotnego." To jest dokładnie prawda. W świecie agentów AI istnieje znacznie grubsza warstwa nad LLM, niż początkowo postrzegano. Krytyka cienkiego opakowania w pewnym sensie działała w świecie, w którym ludzie przepakowywali tokeny z lekko dostosowanym interfejsem lub systemowym poleceniem, co w dużej mierze było wszystkim, co było możliwe 2 lata temu. Jednak agenci AI będą łączyć narzędzia, dane własnościowe, wysoce specyficzne dla danej dziedziny polecenia systemowe, wyspecjalizowane interfejsy dla ludzkich elementów w procesach roboczych, zaawansowane inżynierie kontekstu, aby poradzić sobie z ograniczeniami okna kontekstowego i nie tylko. Zdecydowana większość z nich będzie działać lepiej, gdy będzie dostosowana do konkretnej dziedziny, funkcji zawodowej lub rodzaju zadania. Ponadto, aby uzyskać rzeczywistą adopcję w przedsiębiorstwie, zazwyczaj potrzebny jest wysoki stopień integracji systemów i zarządzania zmianą, aby napędzać zmiany w procesach roboczych i adopcję. Dlatego firmy (lub przynajmniej produkty) skoncentrowane na konkretnych możliwościach będą często wymagane do rzeczywistego zasilania tych procesów roboczych. Mnóstwo możliwości w nadchodzącym roku.