麦肯锡研究了50个自主AI构建案例及其最常失败的地方,总结出6个对AI工程师至关重要的关键因素: 1. 关注工作流程,而不是代理。不要过于执着于构建“令人印象深刻”的代理。要考虑整个系统,而不是有趣的玩具。 2. 代理并不总是答案。 并非每个工作流程都需要多代理系统。低方差、可预测的任务最好用规则或机器学习处理,LLM增加了复杂性。代理的重大胜利出现在高方差、混乱的流程中(例如,提取复杂的财务信息)。 3. 避免“AI混乱”。(常见) 关注代理的长期发展,就像对待员工的发展一样。忘掉令人印象深刻的演示。加倍努力于基准测试。代理应该有明确的工作描述,进行入职培训,并获得反馈,以便他们能够定期改进。 4. 跟踪每一步,而不仅仅是结果。 在没有可见性的情况下扩大代理规模是要求无声失败。考虑监控工作流程的每个阶段。这样团队可以及早发现错误,快速完善逻辑,避免全面崩溃。当错误发生时(而且它们会发生),你可以追踪出错的地方和原因。不要跳过这一步。 5. 尽可能重用代理。 许多公司浪费时间为每个任务构建一次性代理。更聪明的做法是创建可重用的模块化代理组件(摄取、提取、验证、分析),以便用于其他工作流程。集中验证的工具和提示可以减少30-50%的冗余工作,这个数字可不是开玩笑。 6. 人类仍然至关重要,但角色发生了变化。 代理可以解析、自动化和扩展。但人类提供判断、边缘案例处理和创造性问题解决。未来不是代理与人类的对立,而是代理与人类的结合。 这些是初创公司和成熟公司在规模化时所犯的错误。它们对声誉和资源造成了巨大的损害。现在你知道如何避免这些问题。