业务价值思考,变更管控中AI稽核为何而出发?
前言
在 SRE 运维实践中,变更管控流程中包含很多字段信息和附件,作为变更就绪条件,由变更经理和相关责任人审核审批。近年来,大模型在各行各业中积极探索集成方案,在审批流程中做 AI 稽核似乎也有搞头(狭义上,大语言模型能力):工单合规性审查,提高工单质量和审批效率。
最近我学习了一些关于 DevOps 的课程,公司领导也分享了精益数据方法论的 SMART 原则。我从中受到了启发,本文探索审批流程中引入 AI 稽核:价值到底是什么?
变更管控审批流程
在当前软件系统快速版本迭代的背景下,变更管控是保障业务连续性的重要手段之一。在某公司中,所有的发布变更都要进行申请,并经过一道道质量检查与审批,最终在专家联合评审,领导授权后才允许执行。发布变更所需要的就绪准备项包括:操作时间、执行人、操作步骤、应急方案、测试报告、灰度测试报告等。
变更流程中的工单项既多又杂,由变更经理等责任人来审批,主要对工单的合规性进行把控。审批工作现状中,因为工单项多、工单数量多,专家经验参差不齐,审核质量和审核效率是一个权衡点,当工作非常繁忙时,难免会牺牲审核质量。在此背景下,提出了基于 AI 能力来提质增效。
PS:在当前背景下,项目语义中 AI 约等于大模型,约等于大语言模型。
自然地,会想到借助大模型能力会对工单审批带来好处,比如提高审批效率、提升工单质量。在可度量指标上,考虑
- 违规判断准确率:人工确认的真实违规数/AI识别的违规总数
- 稽核意见有效性:人工采纳的审核意见/大模型给出的意见
- AI 审批覆盖率:AI稽核的工单项/所有工单项
然而,我还是要问:这样做有什么价值呢?需站在领导和客户的角度考虑问题。
询问 Gemini 3,得到的回复:
业务价值
- 提升合规性与风险控制能力
- 加速发布效率,缩短上市时间 (Time-to-Market)
- 优化资源配置,降低运营成本
效用价值
- 提升决策质量与透明度
- 知识沉淀与赋能
- 提升员工满意度与专业度
回答的都是车轱辘话,比较虚,不是领导想听的。
直白来说:公司为此项目投入资金,能获得什么样的直接收益和间接收益?从上面的叙事角度来回答,说不清楚,看不到价值。
我们需要重新思考,项目到底为何而出发?
业务价值
在做任何工作项目成功的关键因素:是否获得了领导的支持?要想获得领导的支持,那需要先给领导画一个饼,并被认可。作为领导,上述故事我难以心动。违规判断准确率、稽核意见有效性、AI 审批覆盖率都是内化的过程指标,并不能直接与业务价值相关。从审批效率和工单质量两个角度来进一步探讨。
第一,提高了审批效率,进一步地,挖掘审批效率带来的收益:
- 降本:原本是10个人审批,现在只需要6个人审批。
- 工作减负:原本在审批工单时间投入是日均1小时,现在投入是日均40分钟。
如果通过此项目的收益是降本,那么人力成本降低何时生效,如何计算收益?我原本花费10个人头费,在此项目完工后减少到6个。
如果通过此项目的收益是工作减负,如果这不是领导/客户的目标则毫无意义。如果目标是为员工减负,那么员工减负该如何度量,幸福观提升了?怎么知道的,发调查问卷吗?发调查问卷的话,员工被允许填不幸福吗?
第二,提升了工单质量。所有的工单都合规地通过了AI稽核,那上线质量一定很好吧?如果通过 AI 稽核不能减少因变更准备不充分引入的生产故障,那意味着没有业务价值。
回到变更管控的本质,对生产发布进行质量管控,在不影响工作流转的时间范围内,避免变更引入故障,保证业务连续性。
因此,质量审查,减少发布变更引起系统故障是核心业务价值,审批时间是约束指标,在合理的时间范围内对业务价值无影响。使用一个数学公式来具象化表达:
其中,
根据实际场景思考下,审批效率无法有效衡量,其往往已经蕴含在审批质量中来,如果想要度量的话,在工单上的停留时间是一个重要指标。效率业务价值要从一个角度来思考:审批流缩短,砍掉人工审核环节。
度量内建
按月统计每个月的系统故障,在回溯根因时,其中一项标记:发布变更引入。所有的值直接在系统中承载,减少人工录入。
总结
本文章探讨了在变更管控流程中引入 AI 稽核的业务价值,引发在推动AI项目落地时应该做的思考:在项目开始前必须想清楚业务价值并建立可度量指标。在变更管控中引入 AI 稽核的真正业务价值应该是减少因发布变更引起的系统故障,而非简单的审批效率提升或工单质量提升。
另外一个问题也应该引起思考:审批流程中什么场景或环节适合使用 AI-Based,什么场景或环节适合使用 Rule-Based?比如原本由 OCR 完成的发票审查改用大模型来做,这是一个好的思路吗?
不要为了引入 AI 而引入 AI,做出来效果可能是“画蛇添足”、“掩耳盗铃”。