Oto dlaczego inżynieria kontekstu jest tak ważna. Właśnie spędziliśmy 2 godziny na debacie, kiedy agent powinien polegać na swojej wewnętrznej wiedzy, a kiedy próbować znaleźć odpowiedni kontekst w danych dla tylko jednego typu pytania. Przeszliśmy przez 2 przypadki testowe z setek. Nawet osoby zaangażowane w burzę mózgów nie mogły się zgodzić, czego oczekiwałyby od ludzi w tej sytuacji. Naprawdę nie było właściwej odpowiedzi, a to zawsze zależy od kontekstu, klient po kliencie. Wszystko w inżynierii kontekstu to kompromis między różnymi czynnikami: jak szybko chcesz, aby agent odpowiedział na pytanie, ile interakcji chcesz wymagać od użytkownika, ile pracy powinien wykonać przed próbą odpowiedzi na pytanie, jak wie, że ma wyczerpujące materiały źródłowe do odpowiedzi na pytanie, jaki jest poziom ryzyka błędnej odpowiedzi itd. Każda decyzja, którą podejmujesz w jednym z tych wymiarów, ma konsekwencje na drugim końcu. Nie ma darmowego obiadu. Dlatego budowanie agentów AI jest tak szalone. Podkreśla to również, jak wiele wartości znajduje się powyżej warstwy LLM. Dokładne podejmowanie tych decyzji ma bezpośredni związek z jakością propozycji wartości.