让AI代理在生产环境中可靠运行——而不只是演示——比企业预期的更难。数据碎片化、工作流不清晰、升级率失控,这些正在拖慢各行业的部署。
“技术本身在演示中通常运作良好,”Greyhound Research首席分析师Sanchit Vir Gogia说,”挑战始于被要求在真实组织的复杂性中运作时。”
Creatio负责代理部署的Burley Kawasaki及其团队开发了一套方法论,围绕三大纪律:数据虚拟化规避数据湖延迟、代理仪表板和KPI作为管理层、紧密边界化的用例循环推动高自主性。
在简单用例中,Kawasaki表示这些实践已使代理能够独立处理80-90%的任务。经过进一步调优,他估计即使在更复杂的部署中,至少一半的用例也能支持自主解决。
为什么代理在生产中屡屡失败
企业渴望以某种形式采用代理AI——往往是因为害怕掉队,甚至在确定实际用例之前。但在数据架构、集成、监控、安全和工作流设计方面遇到重大瓶颈。
第一个障碍几乎总是数据。企业信息很少以整洁统一的形式存在;它分散在SaaS平台、应用程序、内部数据库和其他数据存储中。有些是结构化的,有些不是。
即使企业克服了数据检索问题,集成也是重大挑战。代理依赖API和自动化钩子与应用程序交互,但许多企业系统在设计时并未考虑这种自主交互。这可能导致API不完整或不一致,系统在被程序化访问时可能做出意外反应。
组织在尝试自动化从未正式定义的流程时也会遇到障碍。”许多业务工作流依赖隐性知识,”Gogia指出。员工知道如何解决他们见过的例外情况,无需明确指示——但当工作流被转化为自动化逻辑时,这些缺失的规则和指令变得惊人地明显。
调优循环
Creatio在”有明确护栏的有界范围”内部署代理,然后进行”明确”的调优和验证阶段。团队审查初步结果,根据需要调整,然后重新测试,直到达到可接受的准确度水平。
设计时调优(上线前):通过提示工程、上下文包装、角色定义、工作流设计以及数据和文档基础化来改善性能。
人在循环校正(执行中):开发者批准、编辑或解决例外。在人工干预最多的情况(升级或批准)下,用户建立更强的规则、提供更多上下文、更新工作流步骤,或缩小工具访问范围。
持续优化(上线后):开发者继续监控例外率和结果,然后根据需要反复调优,帮助随时间提高准确度和自主性。
代理的仪表板管理
代理在”野外”部署后,通过提供性能分析、转化洞察和可审计性的仪表板进行监控。本质上,代理被像数字员工对待——它们有自己的管理层,配备仪表板和KPI。
例如,入职代理将被纳入标准仪表板界面,提供代理监控和遥测。这是平台层的一部分——编排、治理、安全、工作流执行、监控和UI嵌入——位于”LLM之上”。
用户看到使用中的代理仪表板及其流程、工作流和执行结果。他们可以”深入”单个记录(如推荐或续约),显示逐步执行日志和相关通信,支持可追溯性、调试和代理调整。最常见的调整涉及逻辑和激励、业务规则、提示上下文和工具访问。
“数据就绪”不一定需要大修
部署代理时,”我的数据准备好了吗?”是常见的早期问题。企业知道数据访问很重要,但可能被大规模数据整合项目吓退。
但虚拟连接可以允许代理访问底层系统,绕过典型的数据湖/湖仓/仓库延迟。Kawasaki的团队构建了一个与数据集成的平台,现在正在开发一种方法:将数据拉入虚拟对象、处理它、并像标准对象一样用于UI和工作流。这样,他们不必在其数据库中”持久化或复制”大量数据。
这种技术在银行业等领域很有帮助——交易量太大无法复制到CRM,但”对AI分析和触发仍然有价值”。
匹配代理与工作
自主(或近自主)代理的最佳适配是高体量、结构清晰、风险可控的工作流。例如,入职或贷款准备中的文档收集和验证,或续约和推荐等标准化外联。
“尤其是当你能将它们与行业内特定流程联系起来时——那就是你能真正衡量和交付硬ROI的地方,”Kawasaki说。
例如,金融机构按性质分部门运作。商业借贷团队在自己的环境中运作,财富管理在另一个。但自主代理可以跨部门查看,识别可能适合财富管理或顾问服务的商业客户。
“你以为是显而易见的机会,但没有人跨所有孤岛查看,”Kawasaki说。一些银行将代理应用于这一场景,已看到”数百万美元增量收入的收益”。
长期上下文代理
在受监管行业,长期上下文代理不仅是可取的,更是必需的。例如,跨系统收集证据、总结、比较、起草通信并生成可审计理由的多步骤任务。
“代理不会立即给你响应,”Kawasaki说。”可能需要几小时、几天才能完成完整的端到端任务。”
这需要编排式代理执行而非”单个巨型提示”。这种方法将工作分解为确定性步骤,由子代理执行。记忆和上下文管理可跨各种步骤和时间间隔维护。
关键问题
“当AI系统可以采取行动的那一刻,企业必须回答几个在副驾驶部署中很少出现的问题,”Gogia说。例如:代理被允许访问哪些系统?可以不经批准执行哪些类型的操作?哪些活动必须始终要求人工决策?每个行动如何被记录和审查?
“那些低估挑战的企业往往发现自己困在看起来令人印象深刻但无法在真实运营复杂性中生存的演示中,”Gogia总结道。
Creatio CEO Katherine Kostereva的建议很简洁:”我们总是解释你必须花时间训练代理。当你打开代理时它不会立即发生,它需要时间完全理解,然后错误数量会减少。”
发表回复