麥肯錫研究了50個自主AI構建案例及其最常失敗的地方,總結出6個對AI工程師至關重要的關鍵因素: 1. 關注工作流程,而不是代理。不要過於執著於構建“令人印象深刻”的代理。要考慮整個系統,而不是有趣的玩具。 2. 代理並不總是答案。 並非每個工作流程都需要多代理系統。低方差、可預測的任務最好用規則或機器學習處理,LLM增加了複雜性。代理的重大勝利出現在高方差、混亂的流程中(例如,提取複雜的財務信息)。 3. 避免“AI混亂”。(常見) 關注代理的長期發展,就像對待員工的發展一樣。忘掉令人印象深刻的演示。加倍努力於基準測試。代理應該有明確的工作描述,進行入職培訓,並獲得反饋,以便他們能夠定期改進。 4. 跟蹤每一步,而不僅僅是結果。 在沒有可見性的情況下擴大代理規模是要求無聲失敗。考慮監控工作流程的每個階段。這樣團隊可以及早發現錯誤,快速完善邏輯,避免全面崩潰。當錯誤發生時(而且它們會發生),你可以追蹤出錯的地方和原因。不要跳過這一步。 5. 儘可能重用代理。 許多公司浪費時間為每個任務構建一次性代理。更聰明的做法是創建可重用的模塊化代理組件(攝取、提取、驗證、分析),以便用於其他工作流程。集中驗證的工具和提示可以減少30-50%的冗餘工作,這個數字可不是開玩笑。 6. 人類仍然至關重要,但角色發生了變化。 代理可以解析、自動化和擴展。但人類提供判斷、邊緣案例處理和創造性問題解決。未來不是代理與人類的對立,而是代理與人類的結合。 這些是初創公司和成熟公司在規模化時所犯的錯誤。它們對聲譽和資源造成了巨大的損害。現在你知道如何避免這些問題。