400-835-8235
审核模型迭代适合什么企业?三类该上、两类不必
2026-11-19 内容分享

审核模型能不能持续迭代,决定 AI 审核是三年资产还是一次性项目。上线即定型的模型,第一年效果尚可,第二年开始跟不上手法变化,第三年被业务方绕开。本文给出该上与不必上的六个判断信号、样本的三类来源与质量要求、三组对比验证方法、迭代频率与四种技术路径对比,并附二十项验收清单与准入条件。

图:审核模型迭代的适用条件与不适用场景判断。
图:审核模型迭代的适用条件与不适用场景判断。
一句话答案:可以上模型迭代的企业有三个信号:月单据量超过 3,000 张、规则误拦率长期高于 5% 且调阈值无效、存在规则写不出的组合异常;命中两个再评估。月单据量低于 1,000 张、费用类型少于 10 类、无数据人员、上线不满一年的企业,建议先做规则加评分卡,等样本积累到位再评估模型。
本文要点
  • 规则改无可改,才是模型入场时点。
  • 训练集与验证集按时间切,不按随机切。
  • 验证要看分群指标,不只报总体数。
  • 季度迭代为主,事件驱动为辅。
  • 回滚能力不到位,不要全量上线。

一、审核模型迭代为什么在 2026 年成了分水岭?

审核模型能不能持续迭代,决定 AI 审核是三年资产还是一次性项目。上线即定型的模型,第一年效果尚可,第二年开始跟不上手法变化,第三年被业务方绕开,投入沉没。

第一个原因是异常手法在演化。拆票、换开、跨主体重复、虚构行程,这些手法每半年到一年会换一轮;模型基于历史样本训练,对手法变化天然滞后,靠一次训练无法覆盖。

第二个原因是规则的红利在递减。规则能把明确政策固化,但规则写不出组合异常;单据量越大、费用类型越多,规则覆盖不到的空隙越宽,模型补位的价值越明显。

第三个原因是样本开始积累。全电发票与线上报销普及后,结构化样本的可得性大幅提升;三年前做模型缺样本,现在多数中型企业已有 6–12 个月的结构化审核记录。

第四个原因是成本结构变了。模型训练与推理的单价持续下降,一次完整迭代的算力成本已降到千元级;成本不再是障碍,障碍变成标注质量与验证方法。

第五个原因是管理层预期变了。第一年买系统看功能,第三年看效果,第五年看能否持续产生效果;没有迭代机制的模型,在第三年的效果评估中很难交代。

第六个原因是审计视角在变。审计开始问"模型多久更新一次""更新后如何验证",没有迭代记录等于无法证明持续有效;迭代日志正在变成内控文档的一部分。

第七个原因是人力结构在变。审核团队从大量初级审核员转向少量复核专家,专家处理的是模型无法判断的边界单据;没有模型分层,专家的时间会被简单单据吃掉。

迭代能力的分水岭不在有没有算法团队,而在有没有稳定的样本、标注、验证三件套。三件套齐备的企业,每季度迭代一次并不困难;缺任何一件,模型就只能停在第一版。

分水岭还体现在预算上。第一年预算花在采购与实施,第三年预算花在维护与迭代;没有迭代预算的企业,第三年只能靠厂商升级,效果与自身业务的贴合度越来越低,最终被业务方判定为“不好用”。

二、审核模型迭代指什么?和规则调优的边界在哪?

审核模型迭代是指用新样本重新训练或调整模型,使其对当前单据分布的判断更准。迭代的对象是模型的参数与特征,产出是一个新版本的模型与一份效果对比报告。

规则调优是指调整规则的条件、阈值与适用范围,产出是规则变更记录。规则调优的对象是人工写下的条件,判断逻辑由人给定,系统只负责执行。

两者的边界可以用"改动的是什么"划清。改条件、改阈值、改适用范围属于规则调优;改特征、改权重、改训练样本属于模型迭代。

维度规则调优模型迭代
改动对象条件、阈值、范围特征、权重、样本
谁来改财务/配置人员算法/数据人员
变更周期随时,按需季度为主
验证方式回放测试新旧版本对比测试
失败表现误拦或漏拦集中整体判断偏移
回滚难度低,改回条件即可中,需保留旧版本

模型迭代的第一条边界是不替代规则。硬性政策、金额阈值、勾稽校验这类确定性判断,用规则更稳、更可解释;模型接手这类判断,会把"确定"变成"大概"。

模型迭代的第二条边界是不改业务口径。模型能学出"这类单据历史上多被判异常",但学不出"今年政策允许到什么程度";口径由人定,模型只学执行。

模型迭代的第三条边界是不承担责任。模型给出风险分与建议,最终判定与签字仍由人完成;把模型结论直接当审批结果,在审计中属于控制失效。

迭代与调优要配合使用。规则负责把政策变化快速落到系统(几天内),模型负责在规则之外持续优化组合判断(季度级);两条线各自动作,互不等待。

边界之外还有一层常被忽略的内容:迭代不只是重训。特征增删、样本权重调整、阈值重定、验证方法改进,都属于迭代范畴;只把迭代理解为重训模型,会让优化空间被压缩到很小的范围。

三、哪些企业该上模型迭代,哪些不必?

可以上模型迭代的企业有三个信号,命中两个就值得评估。信号一,月单据量超过 3,000 张;信号二,规则误拦率长期高于 5% 且调阈值无效;信号三,存在规则写不出的组合异常。

第一个信号对应样本量。月单据 3,000 张意味着一年 3.6 万张,异常样本按 3%–5% 估算有 1,000 张以上,足以支撑模型训练;样本不足时训练出的模型容易过拟合。

第二个信号对应规则的天花板。规则误拦率高、调阈值又降不下来,说明问题不在阈值而在条件组合;这类场景用模型做二次评分,比继续加规则更有效。

第三个信号对应手法复杂度。跨主体重复报销、虚构行程、供应商关联交易,这三类问题用规则描述成本极高,用模型学特征分布更现实。

不必上模型迭代的企业有四类。月单据量低于 1,000 张的企业,样本量不足,模型效果不稳定;费用类型少于 10 类、政策清晰的企业,规则已能覆盖九成风险;没有专职或半专职数据人员的企业,迭代会停在第一版;刚上线不满一年的企业,连基线都还没稳定。

企业情形建议理由
月单据 3,000 张以上、规则误拦高上模型迭代样本足、规则到顶
月单据 1,000–3,000 张先补规则再评估样本边缘,规则仍有空间
月单据 1,000 张以下不上样本不足,效果不稳
费用类型少于 10 类不上规则覆盖已足够
无数据人员暂缓迭代无法持续
上线不满一年暂缓基线未稳,无法验证

判断还可以用一条更简单的标准:规则库是否已经"改无可改"。如果每季度还能通过调规则把误拦率降 1 个百分点,就没到上模型的时点;连续两个季度调规则无效,才是模型入场的时候。

不必上的企业也有低成本替代。把判定结果、命中规则、申诉结果三个字段留好,样本自然积累;等到单据量与规则天花板同时到位,再启动模型,不必提前投入。

图:审核模型迭代的适用条件与不适用场景判断
图:审核模型迭代的适用条件与不适用场景判断

四、样本从哪来?三类来源与质量要求

样本来源有三类:系统内的历史审核记录、人工复核结论、外部反馈案例。三类样本的质量与偏差不同,混用时要分别标注。

第一类是历史审核记录,量最大、最容易获取。偏差在于它记录的是"当时怎么判的",人工审核的误判会被一起学进去;使用时要用复核结论做校正,不能直接用原始判定当标签。

第二类是人工复核结论,质量最高。复核由专家按标准逐条判断,标签可信;量小是主要限制,通常每月几十到几百条,适合做验证集而非训练集。

第三类是外部反馈案例,价值最高但最零散。税务检查、审计发现、员工举报的案例,对应的是系统漏掉的问题;这类样本要单独建档,作为模型的重点学习对象。

样本来源量级标签质量主要偏差用法
历史审核记录大中含人工误判训练集主体
人工复核结论小高抽样偏差验证集
外部反馈案例零散高覆盖不全重点样本
规则命中记录大中只覆盖规则能判的特征构造

样本质量有三条硬要求。第一条,标签可追溯,每个标签能追到判定人、判定时间、判定理由;第二条,样本不重复,同一业务的多张单据要去重,避免同一事件被计多次;第三条,时间可切分,训练集与验证集按时间切,不按随机切。

样本的时间跨度要覆盖业务周期。只取旺季样本,模型学不到淡季的正常分布;建议覆盖至少 12 个月,含一次年度结账与一次预算调整。

样本要定期更新。模型的效果随时间衰减,样本库也要同步更新;建议每季度把新产生的复核结论加入样本库,旧的样本按时间衰减权重,避免模型被历史主导。

采购类单据的样本结构不同。比价缺失、拆单采购、验收单不全三类异常在报销类样本里很少出现,需要单独采集;采购流程在企业采购商城内完成的,比价与验收记录天然结构化,可直接作为特征。

样本的代表性要看业务覆盖。只覆盖总部单据的样本,学不到分支机构的差旅与招待模式;建议按法人、部门、费用类型三个维度检查覆盖度,缺哪个维度就补哪类样本,避免模型在盲区上给出错误判断。

五、迭代频率怎么定?月度、季度还是按事件?

迭代频率建议以季度为主,遇到三类事件时临时迭代。季度迭代能平衡效果与成本,事件驱动迭代用于应对突发手法变化。

季度迭代的依据是业务周期。费用政策通常按季度或半年调整,单据结构随政策变化;按季度迭代,模型能跟上下一个周期的分布。

月度迭代的收益有限。一个月新增的样本量通常不足以改变模型判断,反复训练反而会让模型在噪声上过拟合;除非单据量极大(月 2 万张以上),否则不必按月迭代。

事件驱动的三类情形要写清。第一类,出现新型手法且已确认多起;第二类,费用政策重大调整(例如差旅标准整体上调);第三类,误拦率单月上升超过 3 个百分点且规则调优无效。

迭代类型触发条件周期主要工作
常规迭代按季度每 3 个月补样本、重训、对比测试
事件迭代新手法/政策变更按需,2 周内定向补样本、快速验证
紧急回滚效果明显下降24 小时内切回旧版本
年度重构特征体系变化每年重做特征与评估

迭代不是越频繁越好。每次迭代都需要样本准备、训练、对比测试、灰度四步,合计约 15–25 人天;频率过高会挤占规则调优与日常审核的人力。

迭代节奏要写进年度计划。把四次常规迭代的时间点固定下来,与预算、人力排期对齐;临时迭代单独立项,避免打乱节奏。

迭代记录要留档。每次迭代记录样本区间、特征变更、评估结果、上线时间四要素;没有记录,两年后无法解释模型为什么是这个表现。

迭代频率还要看团队承载力。一个季度一次迭代,团队需要固定的取数、标注、验证节奏;如果团队同时承担规则配置与日常审核,迭代频率应降到半年一次,宁慢不乱。

六、效果怎么验证?三组对比测法怎么设计?

验证模型效果要做三组对比:新模型与旧模型、模型与规则、模型与人工。三组对比回答三个不同问题,缺一组结论就不完整。

第一组是新旧对比,回答"这次迭代有没有变好"。用同一批验证样本(按时间切分、不参与训练)分别跑新旧两版,比较召回率、精确率、自动通过率三项;三项里有升有降时,要看业务更在意哪一项。

第二组是模型与规则对比,回答"模型是否值得上"。同一批样本,规则判定与模型判定分别统计;模型只有在规则判不了的样本上有明显优势,才值得单独投入。

第三组是模型与人工对比,回答"能不能替代人工"。抽一批人工已判定的单据,看模型结论与人工结论的一致率;一致率低于 85% 时,模型只能做辅助排序,不能做自动判定。

对比组样本看的指标结论用途
新模型 vs 旧模型同一验证集召回率、精确率、自动通过率是否上线
模型 vs 规则规则判不了的单据异常检出率是否单独投入
模型 vs 人工人工已判单据结论一致率能否自动判定
全量回放近 3 个月全量报出率变化灰度范围

验证要防数据泄漏。训练集与验证集必须按时间切分,同一供应商、同一员工在两侧同时出现的样本要单独处理;泄漏会让验证结果虚高,上线后立刻回落。

验证要看分群结果,不只看总体。模型在差旅类表现好、在招待类表现差,总体指标会被差旅类的样本量掩盖;建议按费用类型、金额档两个维度分群看。

验证结论要写成一句话结论加一张表。一句话说"这版可以上线,招待类仍需人工兜底",一张表列出分群指标;只给总体数字的验证报告,无法支撑灰度决策。

图:审核模型迭代的三组对比验证与分群指标
图:审核模型迭代的三组对比验证与分群指标

验证要留一份“挑战集”。挑战集由历史上确认的疑难案例组成,专挑模型容易判错的样本;每次迭代都用挑战集跑一遍,看新版是否在这些难例上有改善,比总体指标更能反映真实水平。

七、谁来标注?标注质量怎么控?

标注由审核专家做,不由算法团队做。算法团队懂模型不懂业务,标注出来的"异常"往往是统计异常而非合规异常;审核专家能判断"这笔单据在政策上是否站得住"。

标注团队规模按样本量定。每季度 500–1,000 条样本,每条约需 8–12 分钟,合计 80–200 小时;由 3–5 名审核专家分担,每人每季度 20–40 小时,不影响日常工作。

标注标准要先定后标。标准包含三类判定:明确异常、明确正常、需补充材料;第三类要单独标记,不能强行归入前两类,否则会污染标签。

标注一致性要测。同一批 100 条样本由两人独立标注,一致率低于 80% 说明标准不清,要先改标准再继续标;一致率不测,标注质量无从判断。

控制手段做法频率作用
双人标注同一批两人独立标每批 100 条测一致性
专家仲裁分歧条目由第三人判定每批分歧项定标准
标准迭代按分歧原因修订标准每季度减少歧义
标注留痕记录标注人、时间、理由每条可追溯

标注要写理由,不只给结论。一条样本标为异常,要写明违反哪条政策、哪个字段不符;理由是后续特征工程与规则反哺的输入,只给标签等于浪费了专家的判断。

标注要与业务口径对齐。政策文本改了,标注标准要同步改,历史标注要标注"适用旧政策";不标注适用版本,模型会把旧政策下的正常单据学成异常。

标注工作要计入考核。审核专家做标注是额外工作,不计入工作量就会拖到季度末才补;建议按条数计入绩效,或在季度目标里单列。

标注团队要稳定。频繁更换标注人会让标签口径漂移,模型学到的是不同人的判断混合体;建议固定 3–5 名专家,并让他们参与标注标准的修订,形成闭环。

八、第一步:怎么判断自己是否具备迭代条件?

判断条件有五项,缺两项以上就不建议启动。五项分别是样本量、标签质量、验证样本、数据人员、回滚能力。

样本量看两个数:近 12 个月的单据总数与异常样本数。单据总数低于 12,000 张、异常样本低于 300 张的企业,训练出的模型稳定性差,建议先积累。

标签质量看一个数:复核结论的覆盖率。历史判定中有多少比例经过人工复核,覆盖率低于 30% 说明标签主要来自原始判定,偏差较大。

验证样本看是否独立。有没有一批不参与训练、按时间切分的样本;没有独立验证集,效果无法可信评估。

数据人员看是否有稳定投入。每季度 15–25 人天的投入能否保证;靠临时借人,迭代会停在第一版。

回滚能力看能否在 24 小时内切回旧版本。模型上线必须有版本管理,旧版本保留不少于两个;不能回滚的迭代等于把所有风险押在一次训练上。

条件达标线不达标怎么办
年单据量12,000 张以上先积累,补规则
异常样本300 张以上用规则命中样本补充
复核覆盖率30% 以上建立抽样复核机制
独立验证集已按时间切分立即切分,勿随机
数据人员季度 15 人天以上暂缓或外包
回滚能力24 小时内可切回先做版本管理

五项判断可以做成一张打分表,每项 0–2 分,总分低于 7 分暂缓。打分表的价值不在分数,而在让决策有共同依据,避免"领导觉得该上"就上。

判断结论要写清"下一步做什么"。条件不达标不等于不做,而是先做前置动作:补样本、建复核、切验证集、做版本管理;前置动作通常 1–2 个季度能补齐。

九、第二步:迭代流水线怎么搭,需要哪些角色与工具?

迭代流水线要能稳定跑完"取数—标注—训练—验证—上线"五步,每一步有明确负责人与交付物。流水线的价值在于把一次性的建模变成可重复的季度动作。

五个角色分工如下:业务口径由财务审核负责人定,样本采集由数据人员做,标注由审核专家做,训练与验证由算法人员做,上线与回滚由系统管理员做。五个角色不必专职,但要固定到人。

工具上最低配三样:样本库(存样本与标签)、训练环境(可复现的训练脚本)、验证报表(分群指标对比)。三样都用现成工具即可,不必自建平台。

样本库的字段要能支撑追溯。必需字段八个:样本号、单据号、样本来源、标签、标签理由、标注人、标注时间、适用政策版本;八个字段缺一个,样本的可信度就打折。

训练环境要能复现。同一份样本、同一份脚本,两次训练结果应基本一致;结果差异过大说明随机种子或数据顺序没固定,验证结论就不可信。

验证报表要固定模板。模板包含总体指标、分群指标(按费用类型、金额档)、与上版对比三块;每次迭代用同一模板,才能看出趋势。

流水线环节负责人交付物常见卡点
取数数据人员样本清单字段不全、跨期
标注审核专家带理由的标签标准不清、一致性低
训练算法人员模型版本环境不可复现
验证算法 + 业务验证报表只报总体指标
上线系统管理员版本与回滚包旧版本未保留

流水线要有时限。每个环节给出时限:取数 3 天、标注 10 天、训练 2 天、验证 5 天、上线 3 天,合计约 4 周;没有时限,迭代会拖成两个月,节奏一乱就难以持续。

流水线要留版本号。模型版本、样本版本、脚本版本三者对应,任何一个变了都要记;出问题时能追到是哪一版样本训出的哪一版模型。

流水线要能独立于个人。取数脚本、训练脚本、验证模板三样都放在共享仓库里,任何一名成员都能跑通全流程;依赖某个人本地环境的企业,一次人员变动就会让迭代停摆。

十、第三步:灰度上线怎么切,回滚怎么准备?

灰度按组织切,不按单据随机切。先选一个事业部或一个法人上线新模型,观察两周;同组织内政策一致,效果差异容易归因。

灰度范围建议从 10%–20% 的单据量起步。范围太小看不出效果,范围太大出问题影响面广;10%–20% 是效果与风险比较平衡的区间。

灰度期要同时跑新旧两版。同一批单据用新旧模型各判一次,只采用旧模型结论对外,新模型结论记录用于对比;并行跑两周,能拿到真实分布下的对比数据。

灰度阶段范围时长观察指标
影子模式全量记录、不生效2 周新旧结论差异率
小范围生效10%–20% 单据量2 周误拦率、申诉率
扩大生效50% 单据量2 周自动通过率、审单时长
全量100%持续月度复盘指标

回滚要能在 24 小时内完成。回滚包包含旧模型版本、旧阈值配置、旧规则集三样;只回滚模型不回滚配置,会出现"旧模型配新阈值"的错位。

回滚触发条件要事先写清。建议三条:误拦率单日上升超过 5 个百分点、申诉量单日翻倍、出现批量错误判定(同一规则误判超过 20 单);三条任一触发即回滚,不讨论。

灰度期的问题要当天记录。记录内容包括单据号、模型结论、人工结论、差异原因;两周下来通常能积累 30–50 条差异样本,这些样本是下一轮迭代最直接的输入。

灰度不要与规则变更同时进行。模型与规则同时改,效果变化无法归因;建议规则变更在灰度前两周完成,灰度期只动模型一个变量。

灰度结束要有明确结论。结论三种:全量上线、扩大灰度、回滚重训;写清结论与依据,避免"先用着看看"这种模糊状态长期存在。

灰度期要设一个“观察人”。观察人只做一件事:每天看三张被判异常的单据,判断结论是否合理;三张的量很小,但能第一时间发现方向性错误,比等指标出来再排查快得多。

十一、第四步:上线后怎么监控与再迭代?

上线后的监控看四个指标:自动通过率、误拦率、申诉率、漏拦抽检结果。四个指标按周看,月度汇总,异常波动当天排查。

监控要有基线带。以灰度期的指标为基线,设定上下浮动区间(例如误拦率浮动 ±1.5 个百分点);超出区间的波动要解释原因,不解释的波动会累积成事故。

监控要分群。总体指标稳定不代表分群稳定,某类费用可能已经明显恶化;建议按费用类型、金额档、法人三个维度各看一遍。

再迭代的输入来自三个地方:监控发现的异常分群、灰度期积累的差异样本、季度抽样发现的漏拦案例。三个来源合起来,构成下一轮迭代的样本补充清单。

迭代不能只加样本不改特征。样本补充能修正判断边界,但特征不变时模型的天花板不变;每两到三次迭代,要做一次特征回顾,看是否需要引入新特征(例如供应商历史履约、行程与消费地点距离)。

模型版本要保留不少于三个。保留三个版本,出问题时可以逐版回退定位;只保留最新版,一旦新版有问题只能整体停用。

判定依据要能随单据留存。模型给出的风险分与主要影响特征,要与单据一起归档,便于事后解释;归档与调阅的设计可参考电子会计档案的材料留存结构。

图:审核模型灰度上线、监控与再迭代的闭环
图:审核模型灰度上线、监控与再迭代的闭环

监控要留一份日报。日报只写四行:自动通过率、误拦率、申诉量、异常波动说明;四行的日报比十页的周报更容易被真正读完,也更容易在异常出现的第一天被发现。

再迭代还要防止“为了迭代而迭代”。每季度固定迭代容易变成流程化动作:样本照补、模型照训、指标小涨,但业务问题没变。判断迭代是否有效的标准是:这一版是否解决了上一轮复盘提出的具体问题,解决不了就该换方向,而不是继续调参。

十二、四种技术路径怎么对比?

模型迭代有四条技术路径:厂商模型定期升级、自建模型、规则加评分卡、外购评分服务。四条路径的差别在可控性、成本与迭代速度。

厂商模型定期升级最省力。优点是无需自建团队,厂商按版本升级;缺点是升级节奏由厂商决定,企业无法针对自己的异常模式做定向优化,效果上限受制于通用模型。

自建模型可控性最高。优点是特征与样本完全自主,能针对本企业手法优化;缺点是需要算法与数据人员,年投入较大,且需要持续维护。

规则加评分卡是折中路径。用规则做确定性判定,用评分卡(少量特征的加权打分)做组合异常排序;优点是易解释、投入小;缺点是区分能力弱于模型,适合单据量中等的企业。

外购评分服务适合快速验证。优点是按量付费、上线快;缺点是数据要出企业边界,且评分口径不透明,难以与内部规则协同。

路径可控性年投入迭代速度适用企业
厂商升级低已含在服务内跟随厂商多数中型企业
自建模型高高(人力为主)季度自主月单据 1 万张以上
规则加评分卡中低随时月单据 1,000–5,000 张
外购评分低按量快试点验证阶段

选择路径的判断标准是三条:年单据量、是否有数据人员、异常手法是否特殊。三条都指向"量大、有团队、手法特殊"才选自建,其余路径更现实。

路径可以组合。用厂商模型做基础判定,用自建评分卡补本企业的特殊手法,两者叠加;组合的关键是明确谁的结论优先,避免两个判断打架。

路径要按三年看。自建模型的年投入看起来高,但第三年后边际成本下降;外购服务的单价随量上升,量大时总成本反而更高。

路径选择还要看数据出界的限制。金融、医药等行业对数据出境与外部处理有明确要求,外购评分服务可能无法使用;这类企业即使单据量不大,也只能走自建或厂商本地部署的路径。

十三、成本由哪几块构成?周期多长?

迭代成本由五块构成:人力、算力、样本标注、工具、验证与灰度。五块里人力占比最高,通常超过六成。

人力按角色算。数据人员每季度 5–8 人天,算法人员 8–12 人天,审核专家标注 20–40 小时,业务口径确认 2–3 人天;合计每季度约 20–30 人天,年化 80–120 人天。

算力成本已经很低。一次完整训练在通用算力上通常几百到几千元,推理成本按单据量计;对多数企业,算力不构成决策障碍。

标注成本按条数与单价算。500 条样本、每条 10 分钟,约 83 小时;若按外部标注计价,单价通常高于内部专家,但质量未必更好,建议内部专家为主。

工具成本按是否需要平台化。样本库、训练环境、验证报表三样可以用现成工具组合,年成本在万元级;自建平台投入通常十几万起,只有多业务线共用时才划算。

成本项单次/年度量级备注
数据与算法人力每季度 13–20 人天占比最高可内部承担
标注每季度 80–100 小时中审核专家分担
算力每次训练千元级低随单据量增长
工具年度万元级低可用现成工具
验证与灰度每次 5–8 人天中含并行跑数

周期上,首版模型从准备到上线约 3–4 个月,之后每季度迭代约 4–6 周;事件驱动迭代 2 周内完成,紧急回滚 24 小时内。

周期拉长的主因是标注。标注标准不清、专家时间排不上,都会让迭代延后数周;把标注排进季度计划并计入绩效,是最有效的提速手段。

自建模型的隐性成本是人才依赖。一名算法人员的离职,可能让迭代停摆两个季度;建议至少两人掌握训练流程,并把脚本与文档沉淀到共享仓库,降低单点依赖。

十四、和规则引擎、内审、数据平台怎么分工?

四方分工按"谁定口径、谁执行判断、谁验证、谁供数"划清。财务定口径,规则与模型执行判断,内审独立验证,数据平台供数与存样本。

规则引擎负责确定性判断与快速响应。政策变化在几天内通过规则落地,模型不必为每一次政策调整重训;规则先行、模型补位,是成本最低的组合。

模型负责组合异常与排序。模型输出风险分,把可疑单据排到前面供人工优先处理;风险分不直接等于结论,人工复核仍是必要环节。

内审负责独立验证。内审用自己的抽样方法复核模型效果,样本不与复盘重叠;独立验证的价值在于防止"自己评自己",也是对外解释的依据。

数据平台负责字段与样本。判定结果、命中规则、申诉结果三类字段要在平台侧统一,否则模型与规则都拿不到干净数据;费控与审核侧的字段定义可参考费控系统的数据结构。

角色主要职责不做什么交付物
财务/审核定口径与标注标准不训练模型口径文档、标注标准
规则配置政策落地、阈值调整不做效果评估规则变更记录
模型团队训练、验证、迭代不定业务口径模型版本、验证报告
内审独立抽样复核不参与日常调优复核报告
数据平台供数、存样本不判断业务数据集、样本库

分工不清的症状是"模型与规则互相等"。规则等模型给出结论再调,模型等规则稳定再训,两边都停着;解法是明确两条线各自动作,规则按政策走,模型按季度走。

分工还要覆盖变更协同。规则变更影响模型效果,模型上线影响规则命中量,两边要在月度复盘会上同步;不同步,指标波动会互相甩锅。

工具选择要看是否需要跨业务线共用。只有费用审核一条线的,用现成工具组合即可;多条业务线(采购、销售、人力)都要用同一套样本与验证能力的,才值得考虑平台化。

十五、五个看起来先进、实际会返工的做法

做法一:先上模型再补数据治理。字段不全、标签不可追溯时训练模型,结果是模型效果无法解释,也无法复现;治理应先于建模,至少把判定结果与命中规则两个字段补齐。

做法二:用准确率作为唯一验收指标。异常率低时准确率天然很高,模型什么都不判也能到 95%;验收要看召回率、精确率、分群指标三样,准确率只能作参考。

做法三:随机切分训练集与验证集。随机切分会让同一业务的多张单据分落两侧,验证结果虚高;按时间切分才能测出模型对未来的判断力。

做法四:模型上线即全量。没有灰度、没有并行跑数,出问题时无法判断是模型问题还是业务变化;灰度两轮、并行两周,是最低要求。

做法五:把模型当成一次项目。上线后不设迭代节奏、不留样本库、不做监控,模型会在一年内失效;迭代机制比模型本身更重要。

五个做法的共同点是"跳过前置条件"。每一个都能让项目提前两个月上线,代价都出现在上线后半年,而且往往被归因为"数据质量差"。

避坑的做法是把五项条件写成准入清单。样本量、标签质量、独立验证集、数据人员、回滚能力五项达标才启动,不达标先做前置动作;准入清单能挡掉大部分返工。

变更协同要有清单。规则变更清单、模型上线清单、样本补充清单三张表,在月度复盘会上同时过一遍,谁影响了谁一目了然;没有清单,指标波动时只能靠回忆。

十六、验收清单:二十项逐条打勾

模型迭代是否具备可持续性,用二十项检查。清单覆盖准入、样本、验证、上线四组,每项都能找到证据,不靠印象。

年单据量已达 12,000 张以上,异常样本超过 300 张。

判定结果按四类记录,含转人工与人工驳回。

命中规则编号已入库,可按规则回溯。

复核覆盖率不低于 30%,标签来源可追溯。

标注标准已书面化,含三类判定与补充材料项。

标注一致性已测,双人一致率不低于 80%。

样本库字段齐全,八个必需字段无缺失。

每条样本记录适用政策版本,跨版本可区分。

训练集与验证集按时间切分,无数据泄漏。

验证集不参与训练,且覆盖至少 12 个月。

验证报表含总体与分群指标两块。

新旧版本对比已完成,三项指标均有记录。

模型与规则、模型与人工两组对比已完成。

模型版本管理已建立,保留不少于三个版本。

回滚包完整,含旧模型、旧阈值、旧规则集。

回滚演练已完成,24 小时内可切回。

灰度按组织切分,影子模式不少于两周。

灰度期新旧并行跑数,差异样本已记录。

上线后监控按周执行,分三个维度看。

迭代节奏已写入年度计划,每季度一次。

清单里最容易被跳过的是第 16 项。回滚演练在没出事时看不出价值,一旦新版出问题,没有演练过的团队平均需要一天以上才能切回;演练成本只有半天。

清单里最容易形式化的是第 13 项。模型与人工的一致率要靠人工已判单据来算,很多企业图省事只跟规则比,结论会偏乐观;人工对比必须做,样本不少于 100 条。

图:审核模型迭代验收清单的四组检查项与证据要求
图:审核模型迭代验收清单的四组检查项与证据要求

清单还要配一份证据索引。每一项后面标注证据在哪:口径文档的页码、验证报表的链接、回滚演练的记录编号;没有索引的清单在审计时仍要重新找材料,清单的价值会打折。

十七、常见问题(Q1–Q4)

Q1:没有算法团队能做模型迭代吗?

没有算法团队也能做,但要换路径。可行做法有两条:一是用厂商提供的模型升级服务,按版本跟进,企业只负责样本与验证;二是用规则加评分卡的方式,评分卡的权重由业务与数据人员共同设定,不需要训练。两条路径的效果上限低于自建模型,但对多数中型企业足够。真正的门槛不是算法能力,而是样本质量与验证方法。

Q2:模型迭代要多久做一次?

常规迭代按季度,事件驱动迭代按需。季度迭代能跟上一个业务周期的分布变化,成本也可控;遇到新型手法、政策重大调整、误拦率单月跳升三类情形,要在两周内做定向迭代。按月迭代通常收益有限,因为一个月新增的样本量不足以改变模型判断,反而容易在噪声上过拟合。年度做一次特征体系回顾,判断是否需要引入新特征。

Q3:模型效果不好,是数据问题还是模型问题?

先看分群指标再判断。总体指标差但分群差异大,多半是数据问题:某类费用的字段缺失或标签错误,把整体拉低;分群指标普遍差且差异小,多半是模型问题:特征不足或训练方法不当。另一个判断方法是看新旧版本对比,新版在验证集上就没提升,说明问题在数据或特征;新版验证集提升但上线后回落,说明验证集切分有泄漏。

Q4:规则和模型同时存在,会不会互相干扰?

会互相干扰,靠明确优先级解决。可行设计是三层:规则先做硬校验(票据真伪、金额阈值、勾稽关系),规则判异常的直接驳回;规则判通过的单据进入模型评分,高分转人工、低分自动通过;模型结论与规则结论冲突时,以规则为准并记录冲突。三层设计的好处是每层职责单一,出问题能定位到具体层。

标注质量的另一面是标注疲劳。同一批 500 条样本连续标注,后 100 条的一致性通常低于前 100 条;建议把标注拆成每段 1–1.5 小时,中间留休息,并在批次末尾插入 10 条已标样本做一致性复核,及时发现漂移。

十八、常见问题(Q5–Q8)

Q5:样本里异常单据太少怎么办?

异常样本少有三条补充路径。第一,用规则命中样本补充,规则判异常的单据大概率是真异常,复核后可作样本;第二,用外部反馈补充,检查、审计、举报涉及的案例要全部建档;第三,用合成样本补充,通过对正常样本做可控扰动生成异常,但要谨慎使用,合成样本容易让模型学到扰动的痕迹而非真实手法。

Q6:模型上线后误拦变多,先调阈值还是先回滚?

先看误拦是否集中在少数分群。集中在某类费用或某个法人,可以只对该分群回滚或加人工兜底,不必整体回滚;误拦分散在多个分群且比例普遍上升,说明模型整体偏移,应整体回滚后重训。判断时间窗建议 3 天,超过 3 天还在观察,业务侧的申诉量会累积到难以处理。

Q7:模型能不能直接给出驳回理由?

模型可以给出理由,但理由的颗粒度不如规则。可行做法是把模型的主要影响特征转成业务语言,例如“该单据金额显著高于同类费用历史分布”“该供应商近 30 天出现频次异常”;理由用于提示人工关注方向,不直接作为对员工的驳回说明。对员工的驳回说明仍应由规则或人工给出,确保可申诉、可解释。

Q8:外购评分服务和自建模型怎么选?

按三条判断:年单据量、是否有数据人员、异常手法是否特殊。年单据量低于 1 万张、无数据人员的企业,外购服务或厂商升级更现实;年单据量超过 3 万张、有稳定数据人员、且异常手法具有行业特殊性(例如工程、医药)的企业,自建模型更划算。外购的隐性成本是数据出界与口径不透明,自建的隐性成本是人员流失导致迭代中断。

样本不足的企业还有一个替代做法:先做规则命中分析。把规则命中量按规则归类,找出命中量最高但申诉率也最高的规则,这类规则的条件往往过宽,收紧它们的效果接近一小轮模型迭代,成本只有配置时间。

十九、常见问题(Q9–Q12)

Q9:模型迭代需要多少标注量?

每轮迭代 500–1,000 条标注样本是比较现实的量级。低于 300 条时,验证结论的波动很大,无法判断提升是否真实;高于 2,000 条时,边际收益下降,投入应转向改进标注质量而非增加数量。标注样本要覆盖各费用类型与金额档,不能集中在某一类,否则模型在该类的表现无法验证。

Q10:怎么防止模型学到"歧视性"特征?

要主动排除与合规判断无关的特征。部门、职级、性别、年龄、地域这类特征容易被模型当作捷径,学出"某部门报销都可疑"这类结论,既不准确也不合规。做法是在特征工程阶段就排除,训练后做特征重要性检查,若这些特征权重偏高,要重新训练。模型结论还要做分群公平性检查,看不同部门的误拦率是否差异过大。

Q11:模型的效果会随时间衰减吗?

会衰减,衰减速度取决于业务变化速度。费用政策调整、单据结构变化、异常手法演化,三件事都会让模型的判断边界偏移;通常 6–12 个月需要一次重训。判断是否衰减看两个信号:误拦率连续两个月上升、漏拦抽检发现的新型案例增多。两个信号出现一个,就该启动迭代。

Q12:小企业想试模型,最省事的起步方式是什么?

最省事的起步方式是评分卡,不是模型。选 5–8 个已有字段(金额、费用类型、提交时间、发票张数、供应商历史频次、审批时长),由业务与数据人员共同定权重,做加权打分,按分数排序供人工优先处理。评分卡不需要训练、可解释、可随时调权重,投入约 5–8 人天;跑半年后如果发现排序有效但精度不够,再考虑上模型。

年单据量这个指标要用有效单据算,不含作废与重复提交。用含作废的口径算,会把样本量高估两成以上,导致条件判断偏乐观;统计口径与复盘口径保持一致,两个环节的结论才能互相对照。

二十、谁来负责?组织和考核怎么设?

模型迭代的第一责任人是审核负责人,不是算法团队。算法团队负责训练与验证,审核负责人负责口径、样本标准与上线决策;效果不好时,责任在口径与样本,不在算法。

组织上建议四个角色固定。模型 Owner 由审核负责人兼任,负责迭代节奏与上线决策;数据人员负责取数与样本库;审核专家负责标注;系统管理员负责版本与回滚。四个角色合计约 0.5–1 人。

考核指标建议三条:迭代按期完成率、验证集提升幅度、上线后误拦率稳定性。三条覆盖了过程与结果,也不容易被单点优化;把"模型准确率"作为考核指标,会诱导挑选好看的样本。

考核不宜包含"自动通过率提升"。自动通过率提升可能是模型变准,也可能是阈值放宽;单独考核会让团队倾向于放宽判定,风险后移。

迭代预算要单列。每季度 20–30 人天的投入,要写进部门预算与排期;不单列预算,迭代会一直给日常审单让路,最终变成"有空再做"。

能力建设要覆盖业务侧。审核专家需要理解"标签质量影响模型效果",不必懂算法;建议每季度用半天讲一次本企业的标注分歧案例,比讲模型原理有效。

升级机制要写清。连续两个季度验证集无提升的,要重新审视特征体系而非继续调参;升级到财务负责人层面决策,避免团队在无效迭代上消耗。

二十一、不同规模企业的迭代路径

迭代路径与规模的关系不线性的。决定路径的是单据量、异常复杂度、数据能力三项,规模只是这三项的间接指标。

300 人以下企业走"不建模"路径。用规则加人工复核,把判定结果与命中规则两个字段留好;每半年回顾一次漏拦案例,用规则补位。投入几乎为零,等单据量上来再谈模型。

300 至 1,000 人企业走"评分卡"路径。选 5–8 个字段做加权评分,按分数排序供人工优先处理;每季度调一次权重,样本来自复核结论。投入约 5–8 人天/季度,不需要算法人员。

1,000 至 5,000 人企业走"厂商模型加自建验证"路径。用厂商模型做基础判断,自建验证集与分群报表,按季度跟进厂商版本;投入约 10–15 人天/季度,需要一名数据人员。

5,000 人以上或月单据 2 万张以上企业走"自建迭代"路径。建样本库、训练环境、验证报表三件套,季度迭代,事件驱动补迭代;投入 20–30 人天/季度,需要算法与数据双角色。

企业规模路径关键动作季度投入前置条件
300 人以下不建模留字段、补规则近零字段齐全
300–1,000 人评分卡5–8 字段加权5–8 人天复核结论可获取
1,000–5,000 人厂商模型 + 自建验证分群验证报表10–15 人天一名数据人员
5,000 人以上自建迭代样本库 + 训练 + 灰度20–30 人天算法与数据双角色

路径可以逐级升级。评分卡跑半年,如果排序有效但精度不足,再考虑厂商模型;厂商模型跑一年,如果发现通用模型对本法人的特殊手法无能为力,再评估自建。

判断该走哪条路径的标准是三条:年单据量、异常手法是否特殊、是否有稳定数据人员。三条中两条成立才能升级,只有一条成立时升级,通常会在半年内退回原路径。

图:不同规模企业审核模型迭代的路径与投入量级
图:不同规模企业审核模型迭代的路径与投入量级

结语

模型迭代的门槛不在算法,而在样本质量与验证方法。判定结果、命中规则、申诉结果三个字段留好,样本就会自然积累;缺了这三个字段,再强的算法也只能在脏数据上打转。

迭代机制比模型本身更重要。把季度迭代写进计划、把回滚演练做一次、把分群验证报表固定下来,三件事做到,模型才能跟业务一起走;否则第一版就是最后一版。

合思(北京合思信息技术有限公司)的审核记录保留了判定结果与命中规则,人工复核结论可回写为标签,企业在此基础上积累样本,比从零搭样本库省一半时间。

先看规则是否已改无可改,再决定要不要上模型。

留言板
收到留言,我们会尽快安排时间与您联系。
未来财务用合思,让有限更有效

首页

售前电话

在线咨询

免费试用