Một điều mà các tác nhân LLM không làm tốt: Bất kỳ chatbot cũ nào cũng có thể giữ nguyên kịch bản, trong khi các tác nhân LLM có xu hướng đi lệch và dẫn dắt khách hàng vào những cuộc trò chuyện kỳ quặc. Nhưng tất nhiên, các chatbot cũ cảm thấy như máy móc, và khách hàng không muốn nói chuyện với chúng. Chúng đáng tin cậy, nhưng mọi người không thích chúng, Các tác nhân LLM thì ngược lại. Chúng linh hoạt và thích ứng, nhưng chúng có thể nói bất cứ điều gì. Bạn thực sự chỉ cách một sự ảo tưởng khỏi một thảm họa. Những người đứng sau Parlant đang làm một điều gì đó rất thông minh với phiên bản mới của họ: Bạn có thể xây dựng một tác nhân với những điều tốt nhất của cả hai thế giới. Tác nhân có thể chuyển đổi linh hoạt giữa tác nhân LLM và chế độ nghiêm ngặt dựa trên những gì đang diễn ra trong cuộc trò chuyện. Rủi ro không đồng nhất trong suốt cuộc trò chuyện: 1. Khi một khách hàng hỏi một câu hỏi sản phẩm thông thường, Parlant sẽ sử dụng LLM để tạo ra một câu trả lời linh hoạt và hữu ích. 2. Khi một khách hàng yêu cầu hoàn tiền, Parlant sẽ sử dụng chế độ nghiêm ngặt để chỉ trả về các mẫu phản hồi đã được phê duyệt và dựa trên ngữ cảnh. Bạn kiểm soát "chế độ cấu thành" của tác nhân dựa trên các quan sát ngôn ngữ tự nhiên về trạng thái hiện tại của cuộc trò chuyện. Đây là một ý tưởng rất hay. Nó sẽ cải thiện đáng kể tình trạng hiện tại của công nghệ chatbot. Bạn có thể xem nó ở đây: Sơ đồ đính kèm cho thấy cách thức hoạt động của chế độ cấu thành động.

Một trong những tác nhân đầu tiên tôi xây dựng rất đơn giản: Nó lấy thông tin từ một kho vector, định dạng nó dưới dạng HTML và gửi email cho người dùng. Không có gì đơn giản hơn thế, và tuy nhiên, tác nhân này đã thất bại khoảng 1% thời gian. Không có lỗi. Không có cảnh báo. Nó chỉ trả về những thứ vô nghĩa. Đây là sự thật khắc nghiệt: Các tác nhân thường thất bại. Và họ thất bại một cách im lặng. Mọi lúc. Bạn không thể tin tưởng một LLM sẽ làm đúng mọi lúc. Đến bây giờ, tôi đã xây dựng và triển khai một vài chục tác nhân, và đây là một số điều thực sự hiệu quả: 1. Quan sát từ ngày đầu tiên. Nếu bạn không thể thấy tác nhân của mình đang làm gì, bạn không thể gỡ lỗi, cải thiện hoặc tin tưởng nó. Mỗi tác nhân nên tạo ra các dấu vết cho thấy toàn bộ luồng yêu cầu, tương tác mô hình, sử dụng token và siêu dữ liệu thời gian. 2. Rào chắn cho đầu vào và đầu ra. Mọi thứ đi vào và ra khỏi một LLM nên được kiểm tra bởi mã xác định. Ngay cả những thứ không có khả năng bị hỏng cũng sẽ cuối cùng bị hỏng. 3. Đánh giá LLM như một thẩm phán. Bạn có thể xây dựng một thẩm phán đơn giản bằng cách sử dụng một LLM để tự động đánh giá đầu ra của tác nhân của bạn. Gán nhãn một tập dữ liệu, viết lời nhắc đánh giá và lặp lại cho đến khi thẩm phán của bạn phát hiện hầu hết các lỗi. 4. Phân tích lỗi. Bạn có thể thu thập các mẫu thất bại, phân loại chúng và chẩn đoán những sai lầm thường gặp nhất. 5. Kỹ thuật ngữ cảnh. Thường thì, các tác nhân thất bại vì ngữ cảnh của chúng bị ồn ào, quá tải hoặc không liên quan. Học cách giữ cho ngữ cảnh liên quan là rất quan trọng. 6. Vòng phản hồi của con người. Đôi khi, rào chắn tốt nhất là một con người trong quy trình, đặc biệt là cho các quyết định có tính rủi ro cao.

Các nguyên tắc cơ bản về kỹ thuật là những yếu tố tăng cường cho AI. Nếu bạn có các bài kiểm tra, AI có thể chạy chúng sau mỗi thay đổi và tự sửa lỗi. Nếu bạn không có, bạn chỉ đang hy vọng rằng không có gì bị hỏng. Nếu bạn có một quy trình CI/CD, bạn có thể triển khai mã do AI tạo ra một cách tự tin. Nếu bạn không có, bạn chỉ đang hy vọng rằng không có gì bị hỏng. Nếu bạn có một quy trình xem xét mã tốt, bạn có thể phát hiện bất kỳ vấn đề nào với mã do AI tạo ra. Nếu bạn không có, bạn chỉ đang hy vọng rằng không có gì bị hỏng. Nếu bạn có tài liệu vững chắc, AI sẽ hiểu mã nguồn của bạn và tạo ra mã tốt hơn nhiều. Nếu bạn không có, bạn chỉ đang hy vọng rằng không có gì bị hỏng. Khoảng cách giữa các đội có nền tảng kỹ thuật phần mềm vững chắc và những đội không có sắp trở nên rất lớn.