我已经在生产中构建 AI 代理超过一年。 这是开发人员在将代理扩展到生产时面临的一个常见问题: 他们通常在向量、结构化数据和会话的不同服务之间进行 juggling。 三个不同的连接池。三种备份策略。三个监控仪表板。 代理循环本身简单,包含推理、工具和记忆,但基础设施成为瓶颈。 如果你想看到更清晰的处理方式,我构建了一个使用 @MongoDB 作为所有内容的单一后端的代理。我与他们的团队合作,将这个分享给你。 设置很简单: ↳ 从 PDF 文档开始。代理将回答有关它的问题,同时记住过去的对话。 ↳ 首先,将 PDF 切块并使用 Voyage AI 的模型进行嵌入。这些嵌入直接进入 MongoDB,带有向量索引。 ↳ 然后你定义两个工具:一个用于向量搜索,一个用于基本计算(如有需要)。代理根据查询决定使用哪个。 ↳ 记忆存储在同一数据库下的会话 ID 中。代理的每次交互都会被写回,以便它可以参考早期的回合。 ↳ 规划者将其联系在一起。它查看对话历史,决定是否需要工具,执行该工具,并生成最终响应。 这里统一后端的重要性在于: 当代理搜索上下文时,它查询的是存储用户会话和结构化数据的同一数据库。 当它写入记忆时,同一 MongoDB 实例处理向量嵌入。 ...