Wat is het verschil tussen een token, een residu, een activatie en een latent? Deze lijken allemaal naar hetzelfde object te verwijzen, voor mij een N-dimensionale vector van floats meestal, die in de loop van de tijd enige evolutie ondergaat. Toch lijken mensen te blijven volhouden dat sommige dingen het een zijn maar niet de anderen.

@yudhister_ Hoewel het heel vreemd lijkt om te zeggen dat transformers getokeniseerd zijn als je die kijk hebt... de transformer ziet nooit een token. Er is geen kruis-aandacht tussen tokens. Ze moeten eerst in latents worden omgezet.

@yudhister_ Mensen praten in plaats daarvan over tokens alsof het slots zijn, "zelfaandacht tussen tokens", en de token gaat van het vasthouden van een int naar het vasthouden van een vector van floats.

@JFPuget Hoe noem je de slots die de reststromen dragen?