Đây là lý do tại sao kỹ thuật ngữ bối cảnh lại quan trọng đến vậy. Chúng tôi vừa dành 2 giờ để tranh luận về việc khi nào một tác nhân nên dựa vào kiến thức nội bộ của nó so với việc cố gắng tìm bối cảnh liên quan trong dữ liệu cho chỉ một loại câu hỏi. Chúng tôi đã đi qua 2 trường hợp thử nghiệm trong hàng trăm trường hợp. Ngay cả những người tham gia vào buổi não bộ cũng không thể đồng ý về những gì họ mong đợi con người sẽ làm trong tình huống này. Thực sự không có câu trả lời đúng, và điều này luôn phụ thuộc vào bối cảnh từng khách hàng. Mọi thứ trong kỹ thuật bối cảnh đều là sự đánh đổi giữa nhiều yếu tố: bạn muốn tác nhân trả lời câu hỏi nhanh đến mức nào, bạn muốn yêu cầu bao nhiêu tương tác qua lại cho người dùng, nó nên làm bao nhiêu công việc trước khi cố gắng trả lời một câu hỏi, nó biết như thế nào rằng nó có tài liệu nguồn đầy đủ để trả lời câu hỏi, mức độ rủi ro của câu trả lời sai là gì, và nhiều điều khác nữa. Mỗi quyết định bạn đưa ra về một trong những chiều này đều có hậu quả ở đầu bên kia. Không có bữa trưa miễn phí. Đây là lý do tại sao việc xây dựng các tác nhân AI lại thú vị đến vậy. Nó cũng làm nổi bật giá trị mà có trên lớp LLM. Việc đưa ra những quyết định này đúng cách liên quan trực tiếp đến chất lượng của giá trị đề xuất.