Странно, что до появления LLMs даже не было широко распространено предположение о том, что векторы высокой размерности кодируют Концепции, а геометрия их относительных позиций кодирует Значение в полной общности. Можно было бы подумать, что это была бы гипотеза-кандидат, которой широко придавали бы 30% вероятности.

@johnmark_taylor Любой, кто думал в 2014 году, что "Глубокое обучение сработает", вероятно, был прав. Я просто не слышал, чтобы этот более простой и смелый основной аспект глубокого обучения получил широкую правдоподобность в дискурсе.