Chamath: 在 AI 中你需要注意的兩個術語是 Prefill 和 Decode “在接下來的幾年裡，我認為你會聽到很多這兩個術語。” “第一個術語是 prefill，接下來是 decode。” “Prefill 和 decode 是兩種非常不同的模型思考方式，以及模型如何通過回答你提出的問題的過程。” “所以當你向 AI 發送提示時，發生的事情是模型處理它。這被稱為閱讀階段或 prefill。” “它一次性讀取你的整個提示。然後它進行一系列計算，計算所有單詞之間的關係，並將它們存儲在臨時記憶中。” “問題是這真的受限於計算能力。因此，它需要巨大的強制計算。而 Nvidia 的 GPU 在這方面表現出色。” “而他們的架構是為了大規模並行處理而設計的，這使得它們在消化這些長提示方面非常出色。” “所以問題變得越來越大，Nvidia 完全主導了這一領域。” “但下一個階段，這個關鍵階段，解碼階段，是寫作階段，對吧？” “所以模型開始生成回應，你問它一個問題，它的回應是一個標記一個標記地生成。” “然後為了選擇下一個標記，選擇下一個單詞，它必須回顧它已經說過的所有內容，以免出現幻覺。” “問題是這在記憶帶寬上受到極大的限制。” “而在我們的架構中，很久以前，我們從第一天起就做出了這些設計決策。” “所以我們採取了一種非常不同的架構方法，我們採取了一種非常保守的工藝技術。我們並沒有推動物理的邊界。” ...