在大型語言模型(LLMs)出現之前,竟然沒有人廣泛猜測高維向量編碼概念,而它們相對位置的幾何形狀則編碼意義,這實在是很奇怪。 你會認為這應該是一個被廣泛認為有30%機率的候選假設。
@johnmark_taylor 任何在2014年認為「深度學習會成功」的人可以說是對的。我只是沒有聽到這個更簡單、更大膽的深度學習核心觀點在討論中獲得廣泛的可信度。
24.9K