Sonnet 4.5 đã ra mắt! Đây là mô hình biên giới đồng bộ nhất từ trước đến nay; có rất nhiều tiến bộ so với Sonnet 4 và Opus 4.1!

Rõ ràng, Sonnet 4.5 diễn đạt nhận thức eval nhiều hơn so với các mô hình trước. Điều đó có làm vô hiệu hóa kết quả của chúng ta không? Chúng tôi đã thực hiện một cuộc kiểm toán dựa trên nội bộ của mô hình và câu trả lời là "có thể một chút, nhưng chủ yếu là không."

1. Khi xem xét thủ công các bản sao mà mô hình gọi là giả, chúng tôi đánh giá chúng rõ ràng là giả, không có lý do nào để tin rằng mô hình có khả năng nhận thức đánh giá siêu phàm.

2. Chúng tôi đã điều chỉnh với nhiều tính năng SAE khác nhau liên quan đến nhận thức đánh giá. Điều này có thể giảm điểm số căn chỉnh của mô hình, nhưng chủ yếu bằng cách làm cho nó chỉ hữu ích hơn thay vì làm cho nó trở nên lừa dối. Đối với tất cả các vector điều chỉnh mà chúng tôi đã thử, Sonnet 4.5 vẫn được căn chỉnh tốt hơn Sonnet 4.

Tuy nhiên, việc nâng cao nhận thức về đánh giá là rất quan trọng để theo dõi trong tương lai!

Chúng tôi đã nhận được giá trị tuyệt vời từ việc kiểm toán tự động (biểu đồ cột trong bài đăng đầu tiên), cung cấp một vòng phản hồi nhanh về các biện pháp giảm thiểu sự không phù hợp. Đây cũng là lần đầu tiên chúng tôi kiểm toán một mô hình sản xuất dựa trên nội bộ của mô hình. Ứng dụng thực tiễn của nghiên cứu interp!

Tôi thực sự tự hào về đội ngũ, thật tuyệt vời khi thấy tất cả những điều này đã được kết hợp lại với nhau!