Ironicamente, os transformadores veem toda a sua janela de contexto como um saco de fichas totalmente sem contexto. Usamos codificação posicional para contextualizar a ordem dos tokens. Mas os modelos ainda estão constantemente confusos sobre qual token veio foi dito por quem. Por que não há codificação de origem?

Quem disse o que é tão fundamental para o significado quanto quando o disse. E se codificássemos em cada um um token a fonte, seja do sistema, desenvolvedor, usuário, o próprio modelo, os tokens de pensamento do modelo, um terceiro não confiável, uma ferramenta específica ...

Esta é mais ou menos uma codificação posicional 2D onde a dimensão vertical indica quem e horizontal indica quando. Parece que isso evitaria muitas dores de cabeça. Imagine se a voz de todos, incluindo a sua e o seu monólogo interior, soasse exatamente o mesmo.

@wokohomo @Theurgistic Este é o ponto principal do tokenizador, mais ou menos - caso contrário, você sempre treinaria diretamente em uma projeção linear simples dos bytes brutos.