Ironischerweise sehen Transformer ihr gesamtes Kontextfenster als eine Ansammlung von Tokens, die völlig ohne Kontext sind. Wir verwenden Positionskodierung, um die Reihenfolge der Tokens zu kontextualisieren. Aber Modelle sind immer noch ständig verwirrt darüber, welcher Token von wem gesagt wurde. Warum keine Quellkodierung?

Wer gesagt hat, was ist so grundlegend für die Bedeutung wie der Zeitpunkt, zu dem es gesagt wurde. Was wäre, wenn wir in jeden Token die Quelle kodieren, sei es vom System, Entwickler, Benutzer, dem Modell selbst, den Denk-Token des Modells, einer unzuverlässigen 3. Partei, einem bestimmten Tool…

Dies ist mehr oder weniger eine 2D-Positionscodierung, bei der die vertikale Dimension angibt, wer und die horizontale Dimension angibt, wann. Es scheint, als würde es viele Kopfschmerzen ersparen. Stell dir vor, wenn jede Stimme, einschließlich deiner eigenen und deines inneren Monologs, genau gleich klänge.

@wokohomo @Theurgistic Das ist mehr oder weniger der gesamte Punkt des Tokenizers – andernfalls würden Sie immer direkt auf einer einfachen linearen Projektion der Rohbytes trainieren.