AI 审核的准确率必须与召回率、精确率、直通率成组汇报,单报一个数字都不可信。审核场景里问题单据只占 5% 到 15%,一个全部判通过的模型也能拿到 90% 的准确率,召回率却是零。判断一份评测能不能用,看三样:样本量是否配得上结论强度、指标是否附置信区间、漏检清单是否逐条列出。

AI 审核项目的成败更多取决于评测方法,而不是模型本身。同一套模型,评测口径不同能得出 78% 与 93% 两个准确率,两个数字对应完全不同的上线决策,误差来自评测而不是算法。
模型供应商给出的准确率通常有前提。前提包括样本来源、错误类型定义、是否允许人工二次确认。三个前提不写清,数字无法比较,采购比价就变成比谁的数字大。
审核场景的错误代价不对称。漏检一张 30 万元的单据,损失可能抵得上几百张顺利单据的收益;误报一张正常单据,代价是多一次人工确认。两种错误的代价差出两个数量级,单一准确率无法反映这种差异。
评测结果直接决定阈值。阈值定在 0.9 与 0.7,直通率能差 30 个百分点,误报率能差一倍。没有评测数据支撑的阈值,只能凭感觉定,凭感觉定的阈值在上线三个月后一定会被业务推翻。
评测还是运营的基线。上线后每月抽检、每季复盘,都要与初始评测集对比。初始评测集设计得不严谨,后续所有对比都失去参照,运营就会退化成"感觉还行"。
评测的投入要按阶段分配。选型阶段用离线回测,两周出结论;上线前用平行双审,四周出正式结果;稳态期用月度抽检,每月两天。三个阶段投入不同,共用一套错误类型定义,结论才能前后衔接。
评测结果要能反推规则。准确率低但精确率高,说明规则太保守,放宽阈值即可;准确率高但召回率低,说明规则覆盖不足,要补规则。两个方向对应完全不同的动作,看单一指标无法判断该往哪走。
反推的下一步是排优先级。规则缺口按漏检金额排序,先补金额大的;误报按发生频次排序,先修次数多的。两个排序一起看,才能定出两周内能见效的动作清单。
四个指标各自回答一个问题,混用会让结论互相矛盾。准确率回答"判断对的比例",精确率回答"判为问题的里面有多少真是问题",召回率回答"真问题里抓到了多少",直通率回答"不用人工的有多少"。
准确率的定义是判断正确样本数除以总样本数。它在正负样本极不均衡时最不可靠,审核场景里问题单据通常只占 5% 到 15%,一个全部判通过的模型也能拿到 90% 的准确率。
精确率的定义是判为问题的样本中真问题所占比例,衡量误报水平。精确率低意味着审核员要处理大量误报,处理三条误报之后,多数人会开始跳过提示,系统形同虚设。
召回率的定义是真问题中被系统抓到的比例,衡量漏检水平。召回率是审核场景的第一指标,漏检的后果是资金与合规损失,事后追回的成本远高于事前拦截。
直通率的定义是无人工干预直接通过的单据占比,衡量流程效果。直通率与召回率存在直接冲突:放宽阈值能提高直通率,同时拉低召回率。两者的权衡点要靠业务给出错误代价,不能由技术单方决定。
| 指标 | 计算口径 | 衡量什么 | 审核场景的关注度 |
|---|---|---|---|
| 准确率 | 判断正确数 ÷ 总样本数 | 整体判断质量 | 低,样本不均衡时失真 |
| 精确率 | 真问题数 ÷ 判为问题数 | 误报水平 | 中,影响人工复核量 |
| 召回率 | 抓到的问题数 ÷ 真问题数 | 漏检水平 | 高,直接影响损失 |
| 直通率 | 无人工通过数 ÷ 总单据数 | 流程效果 | 高,决定收益 |
四个指标要成组汇报,单独报一个都会误导。成组汇报的写法是"召回率 88%、精确率 71%、直通率 62%",三个数一起给出,读者能判断这份结果在什么代价下取得。
指标之间的关系可以用一句话概括:召回率决定损失,精确率决定成本,直通率决定收益。三者同时提升需要规则更准,只提升其中一个通常靠调阈值,调阈值的动作不产生真实能力。
指标命名要统一。同一份报告里出现"准确率""识别率""通过率"三个说法,读者会以为是三个不同的东西。建议在报告首页放一张指标定义表,一张表管住所有口径。
指标还要区分单据级与字段级。单张单据里有五个字段,四个字段判断正确、一个错误,单据级算全错还是算 80% 正确,两种算法结论差很多。审核场景建议用单据级,因为单据是审批与付款的最小单位。
严格评测适用于高金额、强合规、规则复杂的场景,抽样观察适用于低金额、规则清晰的场景。判断依据是单张错误的期望损失,不是单据数量。
必须严格评测的场景有四类:单笔金额超过 10 万元的费用、涉及税务处理的专用发票、跨境与外币单据、关联方交易。四类场景的错误代价高,评测集要覆盖近两年的全部异常样本。
抽样观察即可的场景有三类:日常差旅的标准报销、办公用品采购、固定金额的补贴类支出。三类场景规则清晰、金额小、异常模式固定,抽 200 张做一次核对足够。
介于两者之间的场景要看规则覆盖率。规则能覆盖七成以上的判断,抽样即可;规则只覆盖一半,说明语义判断占比高,需要严格评测,因为语义判断的稳定性差。
评测强度还与上线阶段有关。试点期要严格评测,样本不少于 500 张;推广期可以降到每季度 200 张抽检;稳态期按每月 50 张做监控即可。强度随阶段递减,前提是前三轮的评测集已固化。
不需要评测的情形也要说明。单据量低于每月 300 张、审核由财务负责人直接看单的企业,做统计评测的投入产出不划算,用一次人工逐张核对替代即可。
评测强度要与企业能力匹配。没有专职标注人的企业,强行做 500 张双人标注,最终会变成一人标两遍,一致率虚高。能力不足时先做 100 张单标,把流程跑顺,再谈规模。
场景分类会在半年后变化。新业务上线、新费用类型开放、组织合并,都会带来新的场景。评测范围每半年复核一次,复核动作与预算周期同步,避免临时抱佛脚。
混淆矩阵是评测的基础工具,四格里放的是"系统判断"与"人工结论"的交叉计数。四格建好,精确率与召回率都能直接算出来,不需要额外统计。
四格的构成是:真阳性(系统判问题、人工也判问题)、假阳性(系统判问题、人工判正常)、真阴性(系统判正常、人工也判正常)、假阴性(系统判正常、人工判问题)。审核场景最不能接受的是假阴性。
假阴性对应漏检,后果是资金损失与合规风险;假阳性对应误报,后果是人工复核量增加。两类错误的处置成本不同,矩阵里要分开统计,不能合并成"错误数"。
第三类错误常被忽略:判断结论对但依据错。系统标出问题单据,理由却是错误的规则条目,这类样本在矩阵里算真阳性,实际会误导规则优化。评测时要单列一栏"依据正确性",比例低于 80% 说明规则描述需要重写。
矩阵要按费用类型分别建。差旅、招待、办公、市场的错误分布差异很大,合并成一张总表会掩盖高风险类型。分表的样本量可以小一些,每类 80 张以上即可看出趋势。
矩阵要留存版本。每次规则调整后重建一次矩阵,与上一版对比,看假阴性是否下降、假阳性是否上升。没有版本对比的评测,只是重复确认现状。
矩阵的读法要从假阴性开始。假阴性清单里的每一条都对应一次真实损失,先看金额最大的十条,再看条数最多的类型。两个视角给出的改进顺序往往不同,先修金额大的,再修条数多的。
矩阵要能下钻到单据。汇总数字看不出问题,打开单据才能看到是附件不清、字段缺失还是规则写错。评测工具要支持从矩阵直接跳转到单据详情,这个功能比多做几张图表更有用。
| 系统判断 | 人工判问题 | 人工判正常 |
|---|---|---|
| 判为问题 | 真阳性,命中 | 假阳性,误报 |
| 判为正常 | 假阴性,漏检 | 真阴性,正确放行 |
样本设计决定评测结论能不能推广到全量。三层设计足够:按金额分层、按费用类型分层、按时间分层,三层交叉后每格不少于 30 张。
金额分层解决大额单据样本不足的问题。随机抽样时大额单据占比低,往往抽不到几张,而大额单据恰恰是漏检代价最高的部分。做法是把金额前 10% 的单据全部纳入,不再随机。
费用类型分层解决规则差异问题。差旅的规则是标准比对,招待的规则是事由判断,两者的错误模式不同,合并抽样会让两类错误互相掩盖。分层的样本量按单据量占比分配,占比低于 5% 的类型单独抽 30 张。
时间分层解决制度变化问题。评测集要覆盖制度变更前后各一段,否则结论只适用于旧制度。制度每年调整一到两次的企业,评测集要按半年切段,每段样本不少于 100 张。
配对设计用于对比两个版本。同一个样本集分别跑旧规则与新规则,比对差异,这叫配对样本。配对样本能消除样本差异的干扰,比两组独立样本更省样本量,通常 200 张就能看出显著差异。
最小样本量的经验值是 300 张起,跨场景综合评测 500 张起。样本量低于 200 张时,准确率的置信区间宽度超过 14 个百分点,无法支撑"提升 5 个百分点"这类结论。
样本的代表性靠抽样框而不是数量。抽样框里如果只有总部单据,结论就不能推广到分公司。做法是先按法人分层,再在层内按金额与类型抽样,层间按单据量加权。
样本要留一份原始快照。单据会随审批流转改变状态,两个月后回看同一张单据,字段可能已经变了。评测时把关键字段快照存档,后续复现才有依据。
抽样清单要能被第三方理解。清单里写清抽样规则、随机种子、排除条件三项,第三方按同一规则重抽,应能得到同分布的样本。抽不出来,说明规则描述不完整,结论也就无法复现。
标注一致性决定评测的上限。两个审核员对同一张单据给出相反结论,说明规则本身有歧义,此时讨论模型准确率没有意义,先修规则。
双人标注是基础做法。抽取 20% 的样本由两名审核员独立标注,计算一致率。一致率低于 85% 时,说明标注口径不清,需要先开一次口径会,再重新标注。
仲裁机制处理分歧样本。分歧样本由第三人裁定,裁定结果作为最终标签,裁定理由沉淀成规则说明。分歧集中的条目往往是规则漏洞,一次仲裁能修掉一类问题。
标注要闭卷进行。标注人看不到系统判断,也看不到彼此的结论,避免锚定效应。看到系统提示后再标注,一致率会虚高,评测结果也就失去意义。
标注指引要写成文档,不能靠口头传达。指引里列出每类费用的判定条件、常见歧义、示例各三条。指引版本与评测集版本绑定,改了指引就要重跑评测。
标注成本要提前算。300 张样本、双人标注、20% 仲裁,工作量约 12 到 18 人天。这笔投入比系统采购小得多,却是唯一能证明系统有效的手段,省掉它等于放弃验证。
标注质量要靠抽检维持。每月抽 10% 的已标注样本由第三人复核,看标签是否仍然成立。抽检发现错误率超过 5%,就要重新培训标注人,而不是继续往下标。
标注人要固定。换人意味着重新对齐口径,一致率会掉一轮。人员必须轮换时,交接要包含判定条件表、歧义清单与二十条典型样本,交接期至少两周重叠。

阈值是准确率与直通率之间的调节旋钮,定阈值的依据是两类错误的代价比,不是追求最高准确率。代价比算清楚,阈值就有唯一解。
代价比的算法是:漏检一张的平均损失除以误报一次的平均处理成本。审核场景里这个比值通常在 20 比 1 到 100 比 1 之间,比值越高,阈值应越低,宁可多报不可漏报。
分档阈值的做法更实用。金额 1 万元以下用高阈值,允许误报少一些;1 万至 10 万元用中阈值;10 万元以上用低阈值,宁可全部人工复核。三档阈值把资源集中投向高风险单据。
阈值要按费用类型分别定。招待费的事由判断主观性强,阈值应偏高;差旅费的标准比对客观,阈值可以偏低。统一阈值会让两类场景都落在次优区间。
阈值调整要有观察期。每次调整后跑两周,看直通率与漏检率的变化,再决定是否固化。调整当天就看结果,会把随机波动当成效果。
阈值不是越高越好,也不是越低越好。阈值定得过低,直通率接近零,系统退化成提示工具;定得过高,漏检率上升,一次事故就会让项目停摆。合理区间是让直通率落在 55% 到 75%,同时漏检率控制在 3% 以内。
阈值要按单据金额分档,分档表要写进制度。写进制度之后,调整阈值需要走变更流程,避免业务临时要求放宽。临时放宽是漏检的主要来源,一次放宽可能带来几个月的风险敞口。
阈值调整要留观察期与回退方案。调整后两周内保持监控,漏检率超过 3% 立刻回退。回退动作要提前演练,值班人知道点哪里,比事后找厂商快得多。
阈值要与审批权限联动。金额超过审批权限的单据,即使系统判断通过,也应进入上一级审批。阈值解决的是系统放行问题,权限解决的是人放行问题,两者叠加才是完整的控制。
显著性判断的是"差异是否真实存在",不是"差异有多大"。审核场景里真正需要判断的是差异幅度,因此置信区间比 p 值更有用。
置信区间的宽度由样本量与比例共同决定。300 张样本、准确率 90% 时,95% 置信区间约为正负 3.4 个百分点;100 张样本时扩大到正负 5.9 个百分点。样本越少,区间越宽,结论越不可靠。
两个版本的对比要看区间是否重叠。旧版本 85%(正负 4 个点)、新版本 89%(正负 4 个点),区间重叠,不能断言提升。新版本 93% 时区间不重叠,才能说提升是真实的。
配对样本检验比独立样本更灵敏。同一批单据跑两个版本,用配对方法比较,同样样本量下更容易检出差异。审核场景的评测集本来就是同一批单据,天然适合配对检验。
多重比较要小心。同时比较十个费用类型的准确率,总会有一两个看起来显著,这属于随机波动。做法是先看总体,再对异常类型单独复测,复测仍显著才认定为真差异。
统计结论要写成业务语言。"召回率从 82% 提升到 88%,置信区间不重叠,说明漏检确实减少"这样的表述,业务能听懂;"p 小于 0.05"这样的表述,业务会跳过。
统计结论还要说明适用范围。在 500 张样本、单一法人、近 18 个月的数据上成立,换成另一个法人未必成立。适用范围写清楚,结论才不会被过度引用。
评测报告的最后要留一行"本次未验证的内容"。写清哪些场景没覆盖、哪些指标没测,比把结论写得漂亮更重要。读者知道边界,才不会用错。
错误类型定义是评测的起点,通常需要 1 周。定义不清,评测就退化成数错误个数,得不出可执行的改进项。
从近两年的退回单据里抽 300 张,逐张记录退回原因。退回原因是业务给出的真实错误描述,比制度条文更贴近实际。
把退回原因归并成 6 到 8 类,建议的类目是票面要素、政策标准、预算额度、重复报销、税务处理、事由充分性、附件缺失。类目过多会让评测表难以阅读,过少会掩盖差异。
为每类写一条判定条件,写清"满足什么算这类错误"。判定条件要能被两个人独立执行,写不到这个程度就继续细化。
给每类定严重级别,分致命、重要、一般三级。致命对应资金损失或合规风险,重要对应需返工,一般对应提示类问题。
与业务、内审共同确认类目与级别,确认后的版本作为评测依据。三方确认能避免后续争议,单方定义的类目在复盘时容易被推翻。
给错误类型表编版本号,规则调整后同步更新。版本号与评测集绑定,改一处就要记录影响范围。
类目设计要避免两个极端。类目太细,一张单据可能同时命中五类错误,统计时重复计数;类目太粗,所有问题都归到"不合规",改进时无从下手。
严重级别的划分标准要写实。致命级的判定条件建议直接写成金额与场景:单笔超过 5 万元且无审批、同一发票重复报销、税率错用导致多抵扣。写实之后,标注人不用凭感觉判断。
错误类型表要与制度条文对照。每类错误对应制度里的哪一条,写清章条号,标注时可以直接引用。制度没写到的错误类型,先补制度再评测,否则标注人只能凭经验判断。
类目数量控制在 6 到 8 个有实际原因。少于 6 个,改进项会挤在一起;多于 8 个,每类的样本量不足以支撑结论。类目多又想保留细节时,用两级结构:一级类目做统计,二级子类做归因。
类目要能对应到处置动作。每类错误后面写一句"发现后怎么处理",处理动作明确的类目才值得保留。写了处理动作才发现无从下手的类目,说明定义还停留在描述层面。
评测集的构建通常需要 2 到 3 周,主要工作是标注。评测集一旦冻结,就成为后续所有对比的基准,不能随意替换。
定样本框架,明确总量、分层比例、时间跨度。建议总量 500 张,金额前 10% 全量纳入,其余按费用类型比例分配,时间覆盖近 18 个月。
按框架抽样,抽样框要包含正常单据、退回单据、争议单据三类。正常单据占比不低于 60%,否则评测集不能反映真实分布。
脱敏处理,去掉姓名、身份证号、银行卡号、供应商名称,保留金额区间与费用类型。脱敏后的样本才能给外部顾问或厂商做交叉验证。
双人独立标注,标注人看不到系统判断。抽取 20% 的样本做双标,计算一致率,一致率低于 85% 就回去修判定条件。
分歧仲裁,由第三人裁定并写明理由。裁定理由按错误类型归类,形成规则补充说明。
冻结版本并归档,归档内容包含样本清单、标注结果、仲裁记录、判定条件表四份。冻结后不再增删样本,需要扩充时建新版本。
评测集的代表性靠抽样框保证,不靠数量。1000 张全部来自顺利单据的样本,代表性不如 500 张分层样本。抽样框的设计比样本量更值得花时间。
评测集要防止污染。规则调整时若参考了评测集里的样本,这批样本就失去验证价值,需要补充新样本。做法是把评测集分成调优集与验证集,调优集可反复使用,验证集只在节点上跑一次。
评测集要留一份到期机制。样本超过两年就要更新一部分,业务模式变化会让老样本失去代表性。建议每年替换 30%,保留 70% 做纵向对比,替换与保留的比例写进运营手册。
评测集的管理权要明确。财务共享负责标注,内审负责标签质量,技术团队只有读取权限。管理权分散会让样本被随意修改,修改一次就失去基准价值。

跑评测本身很快,半天能跑完 500 张。真正花时间的是结果核对与分类型分析,通常需要 3 到 5 天。
批量跑评测集,关闭人工干预,只记录系统判断与命中规则。人工参与会污染结果,测出来的是人机组合的表现,不是系统能力。
导出结果明细,字段包含单号、系统判断、人工标签、命中规则、置信度。五个字段缺一不可,缺了就无法做归因。
建混淆矩阵,按总数、费用类型、金额档三个维度各建一张。三张矩阵一起看,才能发现结构性差异。
计算四个指标,准确率、精确率、召回率、直通率,每个都附置信区间。只报点值不报区间,结论容易被质疑。
做分类型分析,找出假阴性集中的错误类型,按数量排序。前两类通常占漏检的六成以上,改进应从这里开始。
出评测报告,包含结论、矩阵、指标、漏检清单、改进建议五部分。报告控制在三页内,明细放附件。
指标计算要避免分母混用。精确率的分母是"判为问题的数量",召回率的分母是"真问题的数量",两个分母不同,写报告时必须标注,否则读者会自行脑补。
漏检清单是最有价值的产出。清单列出每一张假阴性单据的编号、金额、漏检原因,交给规则负责人逐条看。看完十张漏检单据,比看十页指标更能理解系统短板。
报告要给结论,不要只给数据。结论的写法是"按当前规则,召回率 86%(正负 3.4 个点),漏检集中在大额招待费的事由判断,建议补三类规则"。一句话包含指标、区间与动作,读者才知道下一步做什么。
报告要给对比基准。本期指标与上期、与目标值、与行业区间三者对比,单看一个数字无法判断好坏。三个基准放在同一张表里,讨论会从"好不好"转向"差在哪"。
报告要给一页纸摘要。摘要包含四个数:召回率、精确率、直通率、依据正确率,各附区间。四个数都达标可以进入下一阶段,某一个不达标就写清补救动作与时间点。
上线后的监控目标是尽早发现能力漂移,而不是重复证明系统有效。漂移通常来自三个方向:票据版式变化、制度调整、业务结构变化。
月度抽检是基础动作,每月抽 50 张上线后实际审核过的单据,人工复核系统结论。50 张看不出准确率的细微变化,但能发现明显异常,成本只有 2 到 3 人天。
四个监控指标要按月看:直通率、误报率、人工改写率、单据积压量。人工改写率是审核员推翻系统结论的比例,这个指标上升通常比准确率下降更早出现,属于先行指标。
漂移检测要有触发条件。新版式票据出现、新增费用类型、制度调整、组织架构变更,四类事件发生后两周内要做一次专项抽检。等月度抽检发现,问题已经积累了一个月的单据。
告警阈值建议设三档。直通率下降超过 5 个百分点、误报率上升超过 5 个百分点、积压量超过日均单据量的 1.5 倍,分别触发不同级别的响应。三档阈值写进运维手册,值班人能直接执行。
季度复盘要与初始评测集对比。用同一批冻结样本重跑一次,看指标是否退化。退化超过 3 个百分点,说明模型或规则需要更新,这时改动成本还低。
监控数据要沉淀成运营台账。台账按月一行,列直通率、误报率、改写率、积压量、规则变更次数五项。一年十二行之后,能看出季节性与制度变更的影响,测算收益时也有据可依。
监控要设责任人。指标异常时由谁先看、多久响应、升级给谁,三件事写进值班表。没有责任人的监控等于没有监控,异常会在群里转三天无人接手。
监控频率要与业务节奏匹配。月度结账前后单据量翻倍,抽检频率应临时提高,否则异常会被高峰掩盖。把结账周期标在监控日历上,比按月平均抽检更贴近实际。
评测方法的选择取决于阶段与可用资源,不是越严格越好。四种方法各有明确的适用阶段,混用会导致投入浪费。
| 方法 | 做法 | 成本 | 周期 | 可信度 | 适用阶段 |
|---|---|---|---|---|---|
| 离线回测 | 用冻结样本集跑系统,比对人工标签 | 低,10–15 人天 | 2 周 | 中高 | 选型与规则调整 |
| 小样本人工核对 | 抽 100–200 张逐张核对 | 低,5 人天 | 1 周 | 中 | 日常巡检 |
| 平行双审 | 系统与人工同审,记录差异 | 高,额外 30% 工时 | 4–8 周 | 高 | 上线前验证 |
| 线上灰度 | 单法人或单类型先上线,观察实际指标 | 中,需运维配合 | 6–12 周 | 高 | 推广前验证 |
离线回测是最常用的方法,优势是可重复。同一批样本反复跑,能对比规则调整的效果。缺陷是样本可能不新鲜,覆盖不到新出现的票据版式。
小样本人工核对适合稳态期,成本低、周期短。它的作用是发现异常而不是证明有效,看到明显偏差就升级为离线回测,不要用它做结论性判断。
平行双审的可信度最高,成本也最高。它测的是人机组合的真实表现,包含了附件质量、沟通成本等现实因素。上线前做一次,能避免大量上线后的争议。
线上灰度的风险可控性最好。选一个法人先跑,出问题影响范围有限。灰度期的指标要按周看,不要只看期末值,期末值会被最后一周的调整掩盖。
四种方法可以叠加使用。选型期做离线回测,上线前做平行双审,推广期做线上灰度,稳态期做小样本核对。四个阶段共用一套错误类型与指标定义,结论才能串成一条线。
方法选择还要看组织成本。平行双审需要额外 30% 工时,单据高峰期排不出来。这类约束要提前说,硬排会导致审核员抵触,最后交上来的差异记录质量很差。
方法可以先用便宜的方式验证可行性。用 100 张做一次快速回测,看大致水平,再决定是否投入 500 张做正式评测。跳过快速验证直接做正式评测,常见结果是评测做完发现方向就不对。
样本量的选择本质是精度与成本的权衡。准确率 90% 附近的评测,95% 置信区间的半宽约等于 0.59 除以样本量的平方根。
| 样本量 | 置信区间半宽 | 能识别的差异 | 适用场景 |
|---|---|---|---|
| 50 | ±8.3 个百分点 | 15 个点以上 | 日常巡检 |
| 100 | ±5.9 个百分点 | 12 个点以上 | 单类型抽检 |
| 200 | ±4.2 个百分点 | 8 个点以上 | 版本对比 |
| 300 | ±3.4 个百分点 | 7 个点以上 | 上线前评测 |
| 500 | ±2.6 个百分点 | 5 个点以上 | 正式评测 |
| 1,000 | ±1.9 个百分点 | 4 个点以上 | 对外披露 |
速查表的使用方式是反推。想证明"提升 5 个百分点",样本量至少要 500 张;只有 200 张样本时,5 个点的差异落在噪声范围内,不能作为结论。
样本量不足时的替代做法是配对比较。同一批 200 张单据分别跑新旧两版,配对检验的灵敏度高于独立样本,200 张也能检出 5 个点的差异。前提是两版必须跑同一批单据。
置信区间要写在报告首页,不要放附录。读者看到"召回率 88%(正负 3.4 个点)"会自然理解结论的边界,看到"召回率 88%"会当成精确值,后续讨论就会跑偏。
样本量不能靠事后补。评测跑完发现样本不足,补样本意味着重跑一轮标注与仲裁,成本翻倍。启动前按目标差异反推样本量,反推公式比经验值可靠。
小样本也能出结论,但要降低结论强度。100 张样本可以判断"系统能用",不能判断"比上一版好 5 个点"。结论强度与样本量匹配,是评测报告的基本诚信。
样本量规划要留损耗余量。计划 500 张,实际可用的往往只有 450 张,原因包括附件缺失、单据重复、标签争议无法裁定。按 1.15 倍备样,能避免评测跑到一半发现样本不够。

评测不是技术部门的独角戏,四方分工不清会导致口径互相矛盾。分工的核心是谁定义正确、谁执行评测、谁使用结论。
财务共享负责标注与抽检。审核员最了解业务规则,人工标签由他们给出最可靠。标注工作量要计入排班,不能当成额外任务摊派,摊派的结果是标注质量下降。
内审负责口径复核与结论复核。内审不参与日常标注,但要抽查 10% 的标签质量,并在评测报告上签字。签字的动作让结论具备内部效力,后续制度调整可以直接引用。
BI 或数据团队负责指标呈现与快照留存。同一指标在多个报表出现时,以 BI 版本为准;月度快照要存档,否则半年后无法还原当时的分布。合思(北京合思信息技术有限公司)在费用报销场景里通常把评测指标与业务指标放在同一张看板,避免两套数字。
IT 负责日志与数据管道。评测需要的字段、运行日志、附件版本都由 IT 提供,字段缺失要在源头补,不能靠在报表层推算。
评测结论要与档案联动。审核依据、命中规则、人工复核意见三者要随凭证归档,合思电子会计档案方案支持按单据号调取完整判断链路,稽查时不用再翻邮件。采购类单据的比价记录同样需要留痕,商城的比价链路可以直接归集这类证据。
四方的产出物要有一张总表。表里列明谁在什么时间交付什么,交付物之间如何勾稽。总表贴在项目看板上,比开会催进度有效。
分工要写进流程文件,不靠会议纪要。流程文件里列明四方在评测各阶段的责任,签字后生效。人员变动时,新来的人看文件就能接手,不用再问一遍谁负责什么。
评测结论要能被业务使用。报告里的改进建议要落到具体规则条目,而不是"提升准确率"这类方向。规则条目可以被执行,方向只能被讨论。
第一个误区是用小样本得出精确结论。100 张样本里错了 8 张,就说准确率 92%,这个数字的置信区间宽度约正负 5.9 个百分点,真实值可能在 86% 到 98% 之间。结论强度必须与样本量匹配。
第二个误区是只报准确率。审核场景的问题单据占比通常 5% 到 15%,一个全部判通过的模型能拿 88% 的准确率,召回率为零。只报准确率的评测,等于用指标掩盖了漏检。
第三个误区是混淆判断正确与依据正确。系统标出问题单据,理由却引用错误的规则,矩阵里算真阳性,实际会误导规则优化。依据错误的比例超过 20% 时,审核员会开始怀疑所有提示。
第四个误区是用不同样本对比两个版本。旧版跑 300 张、新版跑 200 张,两个准确率不可比,因为样本难度不同。正确做法是配对比较,同一批单据跑两版。
第五个误区是挑指标报。同时测了六个指标,挑最好看的两个汇报,这在统计上一定会得到"提升"。避免办法是预先登记主要指标,评测报告只对预先登记的指标下结论。
| 误区 | 典型做法 | 后果 | 纠正 |
|---|---|---|---|
| 小样本下精确结论 | 100 张报 92% | 区间宽 12 个点 | 附置信区间 |
| 只报准确率 | 忽略召回率 | 漏检被掩盖 | 四指标成组报 |
| 判断对但依据错 | 只核结论 | 误导规则优化 | 单列依据正确性 |
| 不同样本比版本 | 两版样本不同 | 结论不可比 | 用配对样本 |
| 挑指标汇报 | 选最好看的两个 | 结论不可复现 | 预登记主指标 |
误区有一个共同根源:把评测当成一次性动作。评测是持续过程,样本、口径、指标都要版本化,版本对齐之后,多数误区不会发生。
误区还会以另一种形式出现:用训练集验证模型。厂商用企业提供的 200 张单据调优,又用同一批单据验证,得出的准确率必然偏高。避坑办法很简单,调优集与验证集分开,验证集只在评测当天打开。
判断一份评测是否可信,看三样东西:样本量、区间、漏检清单。三样都有,结论可以参考;只有准确率一个数字,无论多高都不足为凭。

验收清单确认评测结果可用于决策,不是确认系统装好了。清单里每一项都对应一个评审时会被问到的问题,逐条答上,结论就站得住。
清单里最容易被跳过的是第十四项与第十八项。依据正确性没有单列,规则优化就会走偏;监控没有责任人,异常会在群里转几天没人接手。两项都属低成本动作,补上就能省一轮返工。
清单的用法与部署验收一致:逐条附证据位置。写成"第 12 项:见评测报告表 3 页 2",评审时能直接翻页。只打勾不写位置,等于让评审人相信而不是核对。
清单要能独立使用。把它交给没参与项目的内审,对方按条目逐项核对也能得出结论,说明清单合格。需要讲解才能看懂的清单,实际是给自己看的备忘录。
清单每年修订一次。规则调整、场景变化、工具升级都会让部分条目失效,失效条目要标注而不是删除,保留历史痕迹便于追溯。
清单要通过一次实战检验。用上一轮评测按清单复盘一遍,看哪些条目当时没做、后果如何。复盘出来的缺口,比凭空讨论更能让团队认同清单的价值。
不能直接用,要先问清三个前提:样本来源、错误类型定义、是否允许人工二次确认。多数厂商的 95% 建立在自有样本、宽口径错误定义、允许人工兜底三个条件上。合理做法是索取样本清单与评测脚本,用自家 200 张单据复跑一次。复跑结果与宣传值差 10 个百分点以内属于正常,差 20 个点就要重新评估。复跑时要用自家真实附件,不能用厂商准备好的样例包。
可以从退回单据起步。近两年的退回单据自带人工结论,退回归因就是现成的标签。抽取 300 张,把退回原因按错误类型表归并,两个人独立复核一遍,就能形成第一版评测集。这套方法的成本约 8 到 12 人天,比从零标注快一倍,缺点是只覆盖了问题样本,需要再补 200 张正常单据。
上线门槛取决于错误代价,不取决于行业平均值。建议设两条线:召回率不低于 85%、依据正确率不低于 80%,两条都满足再上线。直通率不必在上线时达标,它随规则完善逐步提升,通常三个月后到达 55% 至 75% 的健康区间。把直通率当上线门槛,会逼着团队放宽阈值,漏检风险反而上升。
先补规则,再考虑模型。漏检样本逐条看过之后,八成能找到可枚举的判定条件,补规则的周期通常两周,见效快。补完规则仍漏检的部分,才是模型能力问题,此时再评估换模型或加语义判断模块。顺序颠倒的项目,往往花三个月换模型,漏检只降了两个点。判断模型是否到极限,看补规则后的边际效果:连续两周补规则、漏检不再下降,才说明到了模型边界。
按同质分组做,不必每个法人一次。法人之间业务结构相似的归为一组,每组抽 150 到 200 张,组内按单据量加权。分组依据是费用类型分布与制度版本,两项接近就可以合并。集团层再抽 200 张做整体校验,两组结论不一致时以组内结果为准,因为组内样本更贴近实际。
要重跑全部,不能只跑受影响的类型。规则之间存在相互影响,改一条金额上限规则,可能让另一类的判断发生变化。全部重跑的成本是半天机器时间加两天核对,与漏掉一个回归问题的代价相比很低。重跑后与上一版做配对比较,看哪些类型变好、哪些变差。
人工结论也会有错,处理方式是承认并量化。做法是让内审抽 10% 的人工标签复核,把人工错误率单独报出来。人工错误率 3% 时,系统指标与人工指标的比较要留出这个误差带,不能把 2 个点的差异当成结论。承认人工有错,比假设人工永远正确更接近实际。
不算好,属于阈值过松。直通率高说明系统放行得多,漏检多说明放行的里面有真问题。判断方法是看假阴性的金额分布:集中在低金额单据可以接受,集中在大额单据必须收紧阈值。收紧后直通率会下降,这是正常的代价交换,不应该为了保住直通率而放任漏检。更稳妥的做法是分金额设阈值,大额单据一律人工复核,小额单据放开直通。
给三类人看,写三个版本。给决策层看一页,只放结论、区间、下一步;给业务负责人看三页,加矩阵与漏检清单;给技术团队看附件,放样本明细与脚本。一份报告发给所有人,结果是谁都不满意。三页版本是主力,另外两版可以从中裁剪。
可以用,但要有质检机制。外包标注的优势是快,劣势是对业务规则理解浅,常见错误是把"附件不全"标成"不合规"。做法是先用 50 张做试标,一致率低于 80% 就换供应商;正式标注时抽 20% 由内部复核,复核不通过的批次退回重标。
脱敏到无法定位具体个人即可,业务特征要保留。姓名、身份证号、银行卡号、供应商全称要替换;金额、费用类型、部门、日期要保留,因为这些字段决定判断结果。过度脱敏会让样本失去判断价值,评测就变成测脱敏规则而不是测系统。
建议四次:年初基线、半年度复盘、两次专项(规则大改或新场景上线后)。四次的总投入约 40 到 60 人天,折合 0.3 个全职人力。预算排法是把标注与仲裁的人力写进财务共享的年度编制,不要按项目临时申请,临时申请通常批不下来。专项评测的触发条件也要写清,例如规则变更超过 10 条、新增费用类型、票据版式大改。
评测路径按单据量分档,小体量企业抄大企业的方案会做成一堆没人维护的样本。分档依据是月单据量,辅助依据是错误代价。
| 月单据量 | 评测集规模 | 评测频率 | 主要方法 | 关键指标 |
|---|---|---|---|---|
| 500 以下 | 100–150 张 | 半年一次 | 小样本人工核对 | 召回率、依据正确率 |
| 500–2,000 | 300 张 | 季度一次 | 离线回测加抽检 | 四指标加区间 |
| 2,000–10,000 | 500 张 | 季度加月度抽检 | 离线回测加平行双审 | 分类型矩阵 |
| 10,000 以上 | 800–1,000 张 | 月度监控加季度复盘 | 灰度加配对比较 | 漂移与改写率 |
小体量企业的重点是别把评测做成项目。150 张样本、两个人、三天能完成,够用就行。追求 500 张样本会让评测周期超过业务变化的周期,结论出来时制度已经改了。
中型企业的重点是把配对比较做扎实。同一批 300 张单据跑新旧两版,能检出 7 个点以上的差异,足以支撑规则迭代的决策。这一档的企业最容易陷入"每次都换新样本",导致结论不可比。
大型企业与集团的重点是漂移监控。单据量大意味着异常样本多,月度抽检 50 张能发现趋势。集团层还要做跨法人对比,看同一套规则在不同法人的表现差异,差异超过 10 个点说明制度执行不一致。
路径要留升级条件。直通率连续两个月下降、漏检金额累计超过阈值、新增费用类型上线,三种情况都应触发评测升级,评测集从 100 张扩到 300 张。升级条件写进流程,比事后争论是否要重评有效。
路径要与预算周期对齐。评测预算按年度排,季度调整。年中临时加评测,通常只能挤占标注人的日常工作量,标注质量会下降,结论也不可靠。

准确率评测的难点不在算法,而在定义与样本。错误类型定义不清,标注人只能凭感觉;抽样框设计不当,结论就无法推广到全量。把这两件事做扎实,评测才能从一场数字争论变成一次可核对的事实陈述。
落地节奏建议是错误类型定义一周、评测集构建三周、跑评测与核对一周、上线后按月抽检。第一轮总投入约 15 到 20 人天,之后每季度一次复盘。评测集一旦冻结就当作基准资产维护,它的价值随时间增长,而不是随项目结束而消失。
想要一份可复用的错误类型表与评测集模板,可向合思索取 AI 审核评测工具包。

精彩活动早知道
关注“未来财务人研究院”公众号