Thật mỉa mai, các transformer xem toàn bộ cửa sổ ngữ cảnh của chúng như một túi các token hoàn toàn thiếu ngữ cảnh. Chúng tôi sử dụng mã hóa vị trí để đặt ngữ cảnh cho thứ tự của các token. Nhưng các mô hình vẫn thường xuyên bị nhầm lẫn về việc token nào được nói bởi ai. Tại sao không có mã hóa nguồn?

Ai đã nói điều gì thì cũng cơ bản như khi họ nói điều đó. Thế nếu chúng ta mã hóa vào mỗi token nguồn, cho dù đó là từ hệ thống, nhà phát triển, người dùng, chính mô hình, các token tư duy của mô hình, một bên thứ ba không đáng tin cậy, một công cụ cụ thể...

Đây là một mã hóa vị trí 2D hơn hoặc kém, trong đó chiều dọc cho biết ai và chiều ngang cho biết khi nào. Có vẻ như điều này sẽ giúp tiết kiệm rất nhiều đau đầu. Hãy tưởng tượng nếu giọng nói của mọi người, bao gồm cả giọng nói của bạn và dòng suy nghĩ bên trong của bạn, nghe giống hệt nhau.

@wokohomo @Theurgistic Đây là toàn bộ ý nghĩa của bộ phân tách, hơn hoặc ít hơn — nếu không, bạn sẽ luôn huấn luyện trực tiếp trên một phép chiếu tuyến tính đơn giản của các byte thô.