Ось чому контекстна інженерія така важлива. Ми щойно провели 2 години, обговорюючи, коли агент повинен покладатися на свої внутрішні знання, а коли намагатися знайти релевантний контекст у даних лише для одного типу питання. Ми пройшли 2 тестові випадки з сотнями. Навіть ті, хто брав участь у мозковому штурмі, не могли всі погодитися, чого вони очікують від людей у цій ситуації. Правильної відповіді не було, і це завжди залежить від конкретного контексту клієнта. Усе в контекстній інженерії — це компроміс між багатьма факторами: як швидко ви хочете, щоб агент відповів на питання, скільки внутрішньої взаємодії потрібно від користувача, скільки роботи він має виконати перед тим, як спробувати відповісти на питання, як він знає, що має вичерпний вихідний матеріал для відповіді, Який рівень ризику неправильної відповіді і так далі. Кожне рішення, яке ви приймаєте в одному з цих вимірів, має наслідки на іншому боці. Безкоштовного обіду немає. Ось чому створення агентів ШІ таке шалене. Це також підкреслює, наскільки цінним є рівень LLM. Правильне прийняття цих рішень безпосередньо залежить від якості ціннісної пропозиції.