这就是上下文工程如此重要的原因。 我们刚花了两个小时讨论一个代理应该依赖其内部知识还是尝试在数据中寻找相关上下文，仅针对一种类型的问题。我们只完成了数百个测试案例中的两个。 甚至参与头脑风暴的人也无法达成一致，他们对在这种情况下人类应该如何反应的期望。确实没有正确答案，这总是因客户而异，具体情况具体分析。 上下文工程中的一切都是在多种因素之间的权衡：你希望代理多快回答一个问题，你希望用户需要多少来回互动，它在尝试回答一个问题之前应该做多少工作，它如何知道自己拥有足够的源材料来回答问题，错误答案的风险水平是多少，等等。 你在这些维度上做出的每一个决定都会对另一端产生影响。没有免费的午餐。这就是构建AI代理如此疯狂的原因。 这也突显了LLM层之上的价值有多大。正确做出这些决策直接关系到价值主张的质量。