這就是為什麼上下文工程如此重要的原因。 我們剛花了兩個小時辯論一個代理應該在何時依賴其內部知識，何時應該在數據中尋找相關上下文，僅針對一種類型的問題。我們只完成了數百個測試案例中的兩個。 甚至參與腦力激盪的人都無法達成共識，對於他們期望人類在這種情況下該怎麼做。確實沒有正確的答案，這總是根據客戶的具體情況而定。 上下文工程中的一切都是在多種因素之間的權衡：你希望代理多快回答問題，你希望用戶需要多少來回互動，它在嘗試回答問題之前應該做多少工作，它如何知道擁有足夠的來源材料來回答問題，錯誤答案的風險水平是多少，等等。 你在這些維度上做出的每一個決策都會對另一端產生影響。沒有免費的午餐。這就是為什麼建立AI代理如此瘋狂。 這也突顯了LLM層之上有多少價值。正確做出這些決策直接關係到價值主張的質量。