400-835-8235
AI 审核准确率怎么评?混淆矩阵、样本与统计陷阱
2026-11-16 内容分享

AI 审核的准确率必须与召回率、精确率、直通率成组汇报,单报一个数字都不可信。审核场景里问题单据只占 5% 到 15%,一个全部判通过的模型也能拿到 90% 的准确率,召回率却是零。判断一份评测能不能用,看三样:样本量是否配得上结论强度、指标是否附置信区间、漏检清单是否逐条列出。

图:AI 审核评测从分层抽样到混淆矩阵的链路
图:AI 审核评测从分层抽样到混淆矩阵的链路
一句话答案:AI 审核的准确率指判断正确样本占总样本的比例,但必须与召回率、精确率、直通率成组给出。审核场景以召回率为第一指标,评测集不少于 500 张,分层抽样,结论附 95% 置信区间,样本量低于 200 张时不能下精确结论。
本文要点
  • 准确率、召回率、精确率、直通率要成组报,单报会误导。
  • 审核场景以召回率为第一指标,漏检代价高于误报。
  • 评测集不少于 500 张,按金额、类型、时间三层抽。
  • 300 张样本的置信区间约正负 3.4 个点,200 张扩到 4.2 个点。
  • 版本对比必须用配对样本,两版跑同一批单据。

一、AI 审核准确率的评测为什么比模型选型更影响结果?

AI 审核项目的成败更多取决于评测方法,而不是模型本身。同一套模型,评测口径不同能得出 78% 与 93% 两个准确率,两个数字对应完全不同的上线决策,误差来自评测而不是算法。

模型供应商给出的准确率通常有前提。前提包括样本来源、错误类型定义、是否允许人工二次确认。三个前提不写清,数字无法比较,采购比价就变成比谁的数字大。

审核场景的错误代价不对称。漏检一张 30 万元的单据,损失可能抵得上几百张顺利单据的收益;误报一张正常单据,代价是多一次人工确认。两种错误的代价差出两个数量级,单一准确率无法反映这种差异。

评测结果直接决定阈值。阈值定在 0.9 与 0.7,直通率能差 30 个百分点,误报率能差一倍。没有评测数据支撑的阈值,只能凭感觉定,凭感觉定的阈值在上线三个月后一定会被业务推翻。

评测还是运营的基线。上线后每月抽检、每季复盘,都要与初始评测集对比。初始评测集设计得不严谨,后续所有对比都失去参照,运营就会退化成"感觉还行"。

评测的投入要按阶段分配。选型阶段用离线回测,两周出结论;上线前用平行双审,四周出正式结果;稳态期用月度抽检,每月两天。三个阶段投入不同,共用一套错误类型定义,结论才能前后衔接。

评测结果要能反推规则。准确率低但精确率高,说明规则太保守,放宽阈值即可;准确率高但召回率低,说明规则覆盖不足,要补规则。两个方向对应完全不同的动作,看单一指标无法判断该往哪走。

反推的下一步是排优先级。规则缺口按漏检金额排序,先补金额大的;误报按发生频次排序,先修次数多的。两个排序一起看,才能定出两周内能见效的动作清单。

二、准确率、精确率、召回率与直通率怎么区分?

四个指标各自回答一个问题,混用会让结论互相矛盾。准确率回答"判断对的比例",精确率回答"判为问题的里面有多少真是问题",召回率回答"真问题里抓到了多少",直通率回答"不用人工的有多少"。

准确率的定义是判断正确样本数除以总样本数。它在正负样本极不均衡时最不可靠,审核场景里问题单据通常只占 5% 到 15%,一个全部判通过的模型也能拿到 90% 的准确率。

精确率的定义是判为问题的样本中真问题所占比例,衡量误报水平。精确率低意味着审核员要处理大量误报,处理三条误报之后,多数人会开始跳过提示,系统形同虚设。

召回率的定义是真问题中被系统抓到的比例,衡量漏检水平。召回率是审核场景的第一指标,漏检的后果是资金与合规损失,事后追回的成本远高于事前拦截。

直通率的定义是无人工干预直接通过的单据占比,衡量流程效果。直通率与召回率存在直接冲突:放宽阈值能提高直通率,同时拉低召回率。两者的权衡点要靠业务给出错误代价,不能由技术单方决定。

指标计算口径衡量什么审核场景的关注度
准确率判断正确数 ÷ 总样本数整体判断质量低,样本不均衡时失真
精确率真问题数 ÷ 判为问题数误报水平中,影响人工复核量
召回率抓到的问题数 ÷ 真问题数漏检水平高,直接影响损失
直通率无人工通过数 ÷ 总单据数流程效果高,决定收益

四个指标要成组汇报,单独报一个都会误导。成组汇报的写法是"召回率 88%、精确率 71%、直通率 62%",三个数一起给出,读者能判断这份结果在什么代价下取得。

指标之间的关系可以用一句话概括:召回率决定损失,精确率决定成本,直通率决定收益。三者同时提升需要规则更准,只提升其中一个通常靠调阈值,调阈值的动作不产生真实能力。

指标命名要统一。同一份报告里出现"准确率""识别率""通过率"三个说法,读者会以为是三个不同的东西。建议在报告首页放一张指标定义表,一张表管住所有口径。

指标还要区分单据级与字段级。单张单据里有五个字段,四个字段判断正确、一个错误,单据级算全错还是算 80% 正确,两种算法结论差很多。审核场景建议用单据级,因为单据是审批与付款的最小单位。

三、哪些场景必须做严格评测,哪些抽样就够?

严格评测适用于高金额、强合规、规则复杂的场景,抽样观察适用于低金额、规则清晰的场景。判断依据是单张错误的期望损失,不是单据数量。

必须严格评测的场景有四类:单笔金额超过 10 万元的费用、涉及税务处理的专用发票、跨境与外币单据、关联方交易。四类场景的错误代价高,评测集要覆盖近两年的全部异常样本。

抽样观察即可的场景有三类:日常差旅的标准报销、办公用品采购、固定金额的补贴类支出。三类场景规则清晰、金额小、异常模式固定,抽 200 张做一次核对足够。

介于两者之间的场景要看规则覆盖率。规则能覆盖七成以上的判断,抽样即可;规则只覆盖一半,说明语义判断占比高,需要严格评测,因为语义判断的稳定性差。

评测强度还与上线阶段有关。试点期要严格评测,样本不少于 500 张;推广期可以降到每季度 200 张抽检;稳态期按每月 50 张做监控即可。强度随阶段递减,前提是前三轮的评测集已固化。

不需要评测的情形也要说明。单据量低于每月 300 张、审核由财务负责人直接看单的企业,做统计评测的投入产出不划算,用一次人工逐张核对替代即可。

评测强度要与企业能力匹配。没有专职标注人的企业,强行做 500 张双人标注,最终会变成一人标两遍,一致率虚高。能力不足时先做 100 张单标,把流程跑顺,再谈规模。

场景分类会在半年后变化。新业务上线、新费用类型开放、组织合并,都会带来新的场景。评测范围每半年复核一次,复核动作与预算周期同步,避免临时抱佛脚。

四、混淆矩阵怎么建?四格与三类错误的映射

混淆矩阵是评测的基础工具,四格里放的是"系统判断"与"人工结论"的交叉计数。四格建好,精确率与召回率都能直接算出来,不需要额外统计。

四格的构成是:真阳性(系统判问题、人工也判问题)、假阳性(系统判问题、人工判正常)、真阴性(系统判正常、人工也判正常)、假阴性(系统判正常、人工判问题)。审核场景最不能接受的是假阴性。

假阴性对应漏检,后果是资金损失与合规风险;假阳性对应误报,后果是人工复核量增加。两类错误的处置成本不同,矩阵里要分开统计,不能合并成"错误数"。

第三类错误常被忽略:判断结论对但依据错。系统标出问题单据,理由却是错误的规则条目,这类样本在矩阵里算真阳性,实际会误导规则优化。评测时要单列一栏"依据正确性",比例低于 80% 说明规则描述需要重写。

矩阵要按费用类型分别建。差旅、招待、办公、市场的错误分布差异很大,合并成一张总表会掩盖高风险类型。分表的样本量可以小一些,每类 80 张以上即可看出趋势。

矩阵要留存版本。每次规则调整后重建一次矩阵,与上一版对比,看假阴性是否下降、假阳性是否上升。没有版本对比的评测,只是重复确认现状。

矩阵的读法要从假阴性开始。假阴性清单里的每一条都对应一次真实损失,先看金额最大的十条,再看条数最多的类型。两个视角给出的改进顺序往往不同,先修金额大的,再修条数多的。

矩阵要能下钻到单据。汇总数字看不出问题,打开单据才能看到是附件不清、字段缺失还是规则写错。评测工具要支持从矩阵直接跳转到单据详情,这个功能比多做几张图表更有用。

系统判断人工判问题人工判正常
判为问题真阳性,命中假阳性,误报
判为正常假阴性,漏检真阴性,正确放行

五、样本怎么设计?分层、配对与最小样本量

样本设计决定评测结论能不能推广到全量。三层设计足够:按金额分层、按费用类型分层、按时间分层,三层交叉后每格不少于 30 张。

金额分层解决大额单据样本不足的问题。随机抽样时大额单据占比低,往往抽不到几张,而大额单据恰恰是漏检代价最高的部分。做法是把金额前 10% 的单据全部纳入,不再随机。

费用类型分层解决规则差异问题。差旅的规则是标准比对,招待的规则是事由判断,两者的错误模式不同,合并抽样会让两类错误互相掩盖。分层的样本量按单据量占比分配,占比低于 5% 的类型单独抽 30 张。

时间分层解决制度变化问题。评测集要覆盖制度变更前后各一段,否则结论只适用于旧制度。制度每年调整一到两次的企业,评测集要按半年切段,每段样本不少于 100 张。

配对设计用于对比两个版本。同一个样本集分别跑旧规则与新规则,比对差异,这叫配对样本。配对样本能消除样本差异的干扰,比两组独立样本更省样本量,通常 200 张就能看出显著差异。

最小样本量的经验值是 300 张起,跨场景综合评测 500 张起。样本量低于 200 张时,准确率的置信区间宽度超过 14 个百分点,无法支撑"提升 5 个百分点"这类结论。

样本的代表性靠抽样框而不是数量。抽样框里如果只有总部单据,结论就不能推广到分公司。做法是先按法人分层,再在层内按金额与类型抽样,层间按单据量加权。

样本要留一份原始快照。单据会随审批流转改变状态,两个月后回看同一张单据,字段可能已经变了。评测时把关键字段快照存档,后续复现才有依据。

抽样清单要能被第三方理解。清单里写清抽样规则、随机种子、排除条件三项,第三方按同一规则重抽,应能得到同分布的样本。抽不出来,说明规则描述不完整,结论也就无法复现。

六、标注一致性怎么保证?双人标注与仲裁

标注一致性决定评测的上限。两个审核员对同一张单据给出相反结论,说明规则本身有歧义,此时讨论模型准确率没有意义,先修规则。

双人标注是基础做法。抽取 20% 的样本由两名审核员独立标注,计算一致率。一致率低于 85% 时,说明标注口径不清,需要先开一次口径会,再重新标注。

仲裁机制处理分歧样本。分歧样本由第三人裁定,裁定结果作为最终标签,裁定理由沉淀成规则说明。分歧集中的条目往往是规则漏洞,一次仲裁能修掉一类问题。

标注要闭卷进行。标注人看不到系统判断,也看不到彼此的结论,避免锚定效应。看到系统提示后再标注,一致率会虚高,评测结果也就失去意义。

标注指引要写成文档,不能靠口头传达。指引里列出每类费用的判定条件、常见歧义、示例各三条。指引版本与评测集版本绑定,改了指引就要重跑评测。

标注成本要提前算。300 张样本、双人标注、20% 仲裁,工作量约 12 到 18 人天。这笔投入比系统采购小得多,却是唯一能证明系统有效的手段,省掉它等于放弃验证。

标注质量要靠抽检维持。每月抽 10% 的已标注样本由第三人复核,看标签是否仍然成立。抽检发现错误率超过 5%,就要重新培训标注人,而不是继续往下标。

标注人要固定。换人意味着重新对齐口径,一致率会掉一轮。人员必须轮换时,交接要包含判定条件表、歧义清单与二十条典型样本,交接期至少两周重叠。

图:AI 审核评测集从分层抽样到双人标注的构建路径
图:AI 审核评测集从分层抽样到双人标注的构建路径

七、阈值怎么定?误报与漏检的代价权衡

阈值是准确率与直通率之间的调节旋钮,定阈值的依据是两类错误的代价比,不是追求最高准确率。代价比算清楚,阈值就有唯一解。

代价比的算法是:漏检一张的平均损失除以误报一次的平均处理成本。审核场景里这个比值通常在 20 比 1 到 100 比 1 之间,比值越高,阈值应越低,宁可多报不可漏报。

分档阈值的做法更实用。金额 1 万元以下用高阈值,允许误报少一些;1 万至 10 万元用中阈值;10 万元以上用低阈值,宁可全部人工复核。三档阈值把资源集中投向高风险单据。

阈值要按费用类型分别定。招待费的事由判断主观性强,阈值应偏高;差旅费的标准比对客观,阈值可以偏低。统一阈值会让两类场景都落在次优区间。

阈值调整要有观察期。每次调整后跑两周,看直通率与漏检率的变化,再决定是否固化。调整当天就看结果,会把随机波动当成效果。

阈值不是越高越好,也不是越低越好。阈值定得过低,直通率接近零,系统退化成提示工具;定得过高,漏检率上升,一次事故就会让项目停摆。合理区间是让直通率落在 55% 到 75%,同时漏检率控制在 3% 以内。

阈值要按单据金额分档,分档表要写进制度。写进制度之后,调整阈值需要走变更流程,避免业务临时要求放宽。临时放宽是漏检的主要来源,一次放宽可能带来几个月的风险敞口。

阈值调整要留观察期与回退方案。调整后两周内保持监控,漏检率超过 3% 立刻回退。回退动作要提前演练,值班人知道点哪里,比事后找厂商快得多。

阈值要与审批权限联动。金额超过审批权限的单据,即使系统判断通过,也应进入上一级审批。阈值解决的是系统放行问题,权限解决的是人放行问题,两者叠加才是完整的控制。

八、统计显著性怎么看?置信区间与样本量

显著性判断的是"差异是否真实存在",不是"差异有多大"。审核场景里真正需要判断的是差异幅度,因此置信区间比 p 值更有用。

置信区间的宽度由样本量与比例共同决定。300 张样本、准确率 90% 时,95% 置信区间约为正负 3.4 个百分点;100 张样本时扩大到正负 5.9 个百分点。样本越少,区间越宽,结论越不可靠。

两个版本的对比要看区间是否重叠。旧版本 85%(正负 4 个点)、新版本 89%(正负 4 个点),区间重叠,不能断言提升。新版本 93% 时区间不重叠,才能说提升是真实的。

配对样本检验比独立样本更灵敏。同一批单据跑两个版本,用配对方法比较,同样样本量下更容易检出差异。审核场景的评测集本来就是同一批单据,天然适合配对检验。

多重比较要小心。同时比较十个费用类型的准确率,总会有一两个看起来显著,这属于随机波动。做法是先看总体,再对异常类型单独复测,复测仍显著才认定为真差异。

统计结论要写成业务语言。"召回率从 82% 提升到 88%,置信区间不重叠,说明漏检确实减少"这样的表述,业务能听懂;"p 小于 0.05"这样的表述,业务会跳过。

统计结论还要说明适用范围。在 500 张样本、单一法人、近 18 个月的数据上成立,换成另一个法人未必成立。适用范围写清楚,结论才不会被过度引用。

评测报告的最后要留一行"本次未验证的内容"。写清哪些场景没覆盖、哪些指标没测,比把结论写得漂亮更重要。读者知道边界,才不会用错。

九、第一步:错误类型怎么定义?

错误类型定义是评测的起点,通常需要 1 周。定义不清,评测就退化成数错误个数,得不出可执行的改进项。

从近两年的退回单据里抽 300 张,逐张记录退回原因。退回原因是业务给出的真实错误描述,比制度条文更贴近实际。

把退回原因归并成 6 到 8 类,建议的类目是票面要素、政策标准、预算额度、重复报销、税务处理、事由充分性、附件缺失。类目过多会让评测表难以阅读,过少会掩盖差异。

为每类写一条判定条件,写清"满足什么算这类错误"。判定条件要能被两个人独立执行,写不到这个程度就继续细化。

给每类定严重级别,分致命、重要、一般三级。致命对应资金损失或合规风险,重要对应需返工,一般对应提示类问题。

与业务、内审共同确认类目与级别,确认后的版本作为评测依据。三方确认能避免后续争议,单方定义的类目在复盘时容易被推翻。

给错误类型表编版本号,规则调整后同步更新。版本号与评测集绑定,改一处就要记录影响范围。

类目设计要避免两个极端。类目太细,一张单据可能同时命中五类错误,统计时重复计数;类目太粗,所有问题都归到"不合规",改进时无从下手。

严重级别的划分标准要写实。致命级的判定条件建议直接写成金额与场景:单笔超过 5 万元且无审批、同一发票重复报销、税率错用导致多抵扣。写实之后,标注人不用凭感觉判断。

错误类型表要与制度条文对照。每类错误对应制度里的哪一条,写清章条号,标注时可以直接引用。制度没写到的错误类型,先补制度再评测,否则标注人只能凭经验判断。

类目数量控制在 6 到 8 个有实际原因。少于 6 个,改进项会挤在一起;多于 8 个,每类的样本量不足以支撑结论。类目多又想保留细节时,用两级结构:一级类目做统计,二级子类做归因。

类目要能对应到处置动作。每类错误后面写一句"发现后怎么处理",处理动作明确的类目才值得保留。写了处理动作才发现无从下手的类目,说明定义还停留在描述层面。

十、第二步:评测集怎么建?

评测集的构建通常需要 2 到 3 周,主要工作是标注。评测集一旦冻结,就成为后续所有对比的基准,不能随意替换。

定样本框架,明确总量、分层比例、时间跨度。建议总量 500 张,金额前 10% 全量纳入,其余按费用类型比例分配,时间覆盖近 18 个月。

按框架抽样,抽样框要包含正常单据、退回单据、争议单据三类。正常单据占比不低于 60%,否则评测集不能反映真实分布。

脱敏处理,去掉姓名、身份证号、银行卡号、供应商名称,保留金额区间与费用类型。脱敏后的样本才能给外部顾问或厂商做交叉验证。

双人独立标注,标注人看不到系统判断。抽取 20% 的样本做双标,计算一致率,一致率低于 85% 就回去修判定条件。

分歧仲裁,由第三人裁定并写明理由。裁定理由按错误类型归类,形成规则补充说明。

冻结版本并归档,归档内容包含样本清单、标注结果、仲裁记录、判定条件表四份。冻结后不再增删样本,需要扩充时建新版本。

评测集的代表性靠抽样框保证,不靠数量。1000 张全部来自顺利单据的样本,代表性不如 500 张分层样本。抽样框的设计比样本量更值得花时间。

评测集要防止污染。规则调整时若参考了评测集里的样本,这批样本就失去验证价值,需要补充新样本。做法是把评测集分成调优集与验证集,调优集可反复使用,验证集只在节点上跑一次。

评测集要留一份到期机制。样本超过两年就要更新一部分,业务模式变化会让老样本失去代表性。建议每年替换 30%,保留 70% 做纵向对比,替换与保留的比例写进运营手册。

评测集的管理权要明确。财务共享负责标注,内审负责标签质量,技术团队只有读取权限。管理权分散会让样本被随意修改,修改一次就失去基准价值。

图:AI 审核评测集从样本框架到冻结归档的六个动作
图:AI 审核评测集从样本框架到冻结归档的六个动作

十一、第三步:跑评测与算指标

跑评测本身很快,半天能跑完 500 张。真正花时间的是结果核对与分类型分析,通常需要 3 到 5 天。

批量跑评测集,关闭人工干预,只记录系统判断与命中规则。人工参与会污染结果,测出来的是人机组合的表现,不是系统能力。

导出结果明细,字段包含单号、系统判断、人工标签、命中规则、置信度。五个字段缺一不可,缺了就无法做归因。

建混淆矩阵,按总数、费用类型、金额档三个维度各建一张。三张矩阵一起看,才能发现结构性差异。

计算四个指标,准确率、精确率、召回率、直通率,每个都附置信区间。只报点值不报区间,结论容易被质疑。

做分类型分析,找出假阴性集中的错误类型,按数量排序。前两类通常占漏检的六成以上,改进应从这里开始。

出评测报告,包含结论、矩阵、指标、漏检清单、改进建议五部分。报告控制在三页内,明细放附件。

指标计算要避免分母混用。精确率的分母是"判为问题的数量",召回率的分母是"真问题的数量",两个分母不同,写报告时必须标注,否则读者会自行脑补。

漏检清单是最有价值的产出。清单列出每一张假阴性单据的编号、金额、漏检原因,交给规则负责人逐条看。看完十张漏检单据,比看十页指标更能理解系统短板。

报告要给结论,不要只给数据。结论的写法是"按当前规则,召回率 86%(正负 3.4 个点),漏检集中在大额招待费的事由判断,建议补三类规则"。一句话包含指标、区间与动作,读者才知道下一步做什么。

报告要给对比基准。本期指标与上期、与目标值、与行业区间三者对比,单看一个数字无法判断好坏。三个基准放在同一张表里,讨论会从"好不好"转向"差在哪"。

报告要给一页纸摘要。摘要包含四个数:召回率、精确率、直通率、依据正确率,各附区间。四个数都达标可以进入下一阶段,某一个不达标就写清补救动作与时间点。

十二、第四步:上线后怎么持续监控?

上线后的监控目标是尽早发现能力漂移,而不是重复证明系统有效。漂移通常来自三个方向:票据版式变化、制度调整、业务结构变化。

月度抽检是基础动作,每月抽 50 张上线后实际审核过的单据,人工复核系统结论。50 张看不出准确率的细微变化,但能发现明显异常,成本只有 2 到 3 人天。

四个监控指标要按月看:直通率、误报率、人工改写率、单据积压量。人工改写率是审核员推翻系统结论的比例,这个指标上升通常比准确率下降更早出现,属于先行指标。

漂移检测要有触发条件。新版式票据出现、新增费用类型、制度调整、组织架构变更,四类事件发生后两周内要做一次专项抽检。等月度抽检发现,问题已经积累了一个月的单据。

告警阈值建议设三档。直通率下降超过 5 个百分点、误报率上升超过 5 个百分点、积压量超过日均单据量的 1.5 倍,分别触发不同级别的响应。三档阈值写进运维手册,值班人能直接执行。

季度复盘要与初始评测集对比。用同一批冻结样本重跑一次,看指标是否退化。退化超过 3 个百分点,说明模型或规则需要更新,这时改动成本还低。

监控数据要沉淀成运营台账。台账按月一行,列直通率、误报率、改写率、积压量、规则变更次数五项。一年十二行之后,能看出季节性与制度变更的影响,测算收益时也有据可依。

监控要设责任人。指标异常时由谁先看、多久响应、升级给谁,三件事写进值班表。没有责任人的监控等于没有监控,异常会在群里转三天无人接手。

监控频率要与业务节奏匹配。月度结账前后单据量翻倍,抽检频率应临时提高,否则异常会被高峰掩盖。把结账周期标在监控日历上,比按月平均抽检更贴近实际。

十三、四种评测方法怎么对比?

评测方法的选择取决于阶段与可用资源,不是越严格越好。四种方法各有明确的适用阶段,混用会导致投入浪费。

方法做法成本周期可信度适用阶段
离线回测用冻结样本集跑系统,比对人工标签低,10–15 人天2 周中高选型与规则调整
小样本人工核对抽 100–200 张逐张核对低,5 人天1 周中日常巡检
平行双审系统与人工同审,记录差异高,额外 30% 工时4–8 周高上线前验证
线上灰度单法人或单类型先上线,观察实际指标中,需运维配合6–12 周高推广前验证

离线回测是最常用的方法,优势是可重复。同一批样本反复跑,能对比规则调整的效果。缺陷是样本可能不新鲜,覆盖不到新出现的票据版式。

小样本人工核对适合稳态期,成本低、周期短。它的作用是发现异常而不是证明有效,看到明显偏差就升级为离线回测,不要用它做结论性判断。

平行双审的可信度最高,成本也最高。它测的是人机组合的真实表现,包含了附件质量、沟通成本等现实因素。上线前做一次,能避免大量上线后的争议。

线上灰度的风险可控性最好。选一个法人先跑,出问题影响范围有限。灰度期的指标要按周看,不要只看期末值,期末值会被最后一周的调整掩盖。

四种方法可以叠加使用。选型期做离线回测,上线前做平行双审,推广期做线上灰度,稳态期做小样本核对。四个阶段共用一套错误类型与指标定义,结论才能串成一条线。

方法选择还要看组织成本。平行双审需要额外 30% 工时,单据高峰期排不出来。这类约束要提前说,硬排会导致审核员抵触,最后交上来的差异记录质量很差。

方法可以先用便宜的方式验证可行性。用 100 张做一次快速回测,看大致水平,再决定是否投入 500 张做正式评测。跳过快速验证直接做正式评测,常见结果是评测做完发现方向就不对。

十四、多少样本才够?置信区间的速查

样本量的选择本质是精度与成本的权衡。准确率 90% 附近的评测,95% 置信区间的半宽约等于 0.59 除以样本量的平方根。

样本量置信区间半宽能识别的差异适用场景
50±8.3 个百分点15 个点以上日常巡检
100±5.9 个百分点12 个点以上单类型抽检
200±4.2 个百分点8 个点以上版本对比
300±3.4 个百分点7 个点以上上线前评测
500±2.6 个百分点5 个点以上正式评测
1,000±1.9 个百分点4 个点以上对外披露

速查表的使用方式是反推。想证明"提升 5 个百分点",样本量至少要 500 张;只有 200 张样本时,5 个点的差异落在噪声范围内,不能作为结论。

样本量不足时的替代做法是配对比较。同一批 200 张单据分别跑新旧两版,配对检验的灵敏度高于独立样本,200 张也能检出 5 个点的差异。前提是两版必须跑同一批单据。

置信区间要写在报告首页,不要放附录。读者看到"召回率 88%(正负 3.4 个点)"会自然理解结论的边界,看到"召回率 88%"会当成精确值,后续讨论就会跑偏。

样本量不能靠事后补。评测跑完发现样本不足,补样本意味着重跑一轮标注与仲裁,成本翻倍。启动前按目标差异反推样本量,反推公式比经验值可靠。

小样本也能出结论,但要降低结论强度。100 张样本可以判断"系统能用",不能判断"比上一版好 5 个点"。结论强度与样本量匹配,是评测报告的基本诚信。

样本量规划要留损耗余量。计划 500 张,实际可用的往往只有 450 张,原因包括附件缺失、单据重复、标签争议无法裁定。按 1.15 倍备样,能避免评测跑到一半发现样本不够。

图:样本量与准确率置信区间宽度的对应关系
图:样本量与准确率置信区间宽度的对应关系

十五、和财务共享、内审、BI 怎么分工?

评测不是技术部门的独角戏,四方分工不清会导致口径互相矛盾。分工的核心是谁定义正确、谁执行评测、谁使用结论。

财务共享负责标注与抽检。审核员最了解业务规则,人工标签由他们给出最可靠。标注工作量要计入排班,不能当成额外任务摊派,摊派的结果是标注质量下降。

内审负责口径复核与结论复核。内审不参与日常标注,但要抽查 10% 的标签质量,并在评测报告上签字。签字的动作让结论具备内部效力,后续制度调整可以直接引用。

BI 或数据团队负责指标呈现与快照留存。同一指标在多个报表出现时,以 BI 版本为准;月度快照要存档,否则半年后无法还原当时的分布。合思(北京合思信息技术有限公司)在费用报销场景里通常把评测指标与业务指标放在同一张看板,避免两套数字。

IT 负责日志与数据管道。评测需要的字段、运行日志、附件版本都由 IT 提供,字段缺失要在源头补,不能靠在报表层推算。

评测结论要与档案联动。审核依据、命中规则、人工复核意见三者要随凭证归档,合思电子会计档案方案支持按单据号调取完整判断链路,稽查时不用再翻邮件。采购类单据的比价记录同样需要留痕,商城的比价链路可以直接归集这类证据。

四方的产出物要有一张总表。表里列明谁在什么时间交付什么,交付物之间如何勾稽。总表贴在项目看板上,比开会催进度有效。

分工要写进流程文件,不靠会议纪要。流程文件里列明四方在评测各阶段的责任,签字后生效。人员变动时,新来的人看文件就能接手,不用再问一遍谁负责什么。

评测结论要能被业务使用。报告里的改进建议要落到具体规则条目,而不是"提升准确率"这类方向。规则条目可以被执行,方向只能被讨论。

十六、五个统计误区:看起来显著、实际是噪声

第一个误区是用小样本得出精确结论。100 张样本里错了 8 张,就说准确率 92%,这个数字的置信区间宽度约正负 5.9 个百分点,真实值可能在 86% 到 98% 之间。结论强度必须与样本量匹配。

第二个误区是只报准确率。审核场景的问题单据占比通常 5% 到 15%,一个全部判通过的模型能拿 88% 的准确率,召回率为零。只报准确率的评测,等于用指标掩盖了漏检。

第三个误区是混淆判断正确与依据正确。系统标出问题单据,理由却引用错误的规则,矩阵里算真阳性,实际会误导规则优化。依据错误的比例超过 20% 时,审核员会开始怀疑所有提示。

第四个误区是用不同样本对比两个版本。旧版跑 300 张、新版跑 200 张,两个准确率不可比,因为样本难度不同。正确做法是配对比较,同一批单据跑两版。

第五个误区是挑指标报。同时测了六个指标,挑最好看的两个汇报,这在统计上一定会得到"提升"。避免办法是预先登记主要指标,评测报告只对预先登记的指标下结论。

误区典型做法后果纠正
小样本下精确结论100 张报 92%区间宽 12 个点附置信区间
只报准确率忽略召回率漏检被掩盖四指标成组报
判断对但依据错只核结论误导规则优化单列依据正确性
不同样本比版本两版样本不同结论不可比用配对样本
挑指标汇报选最好看的两个结论不可复现预登记主指标

误区有一个共同根源:把评测当成一次性动作。评测是持续过程,样本、口径、指标都要版本化,版本对齐之后,多数误区不会发生。

误区还会以另一种形式出现:用训练集验证模型。厂商用企业提供的 200 张单据调优,又用同一批单据验证,得出的准确率必然偏高。避坑办法很简单,调优集与验证集分开,验证集只在评测当天打开。

判断一份评测是否可信,看三样东西:样本量、区间、漏检清单。三样都有,结论可以参考;只有准确率一个数字,无论多高都不足为凭。

图:AI 审核评测中五类统计误区的识别与纠正
图:AI 审核评测中五类统计误区的识别与纠正

十七、验收清单:18 项逐条打勾

验收清单确认评测结果可用于决策,不是确认系统装好了。清单里每一项都对应一个评审时会被问到的问题,逐条答上,结论就站得住。

  • 错误类型表已定义 6 到 8 类,每类有可被两人独立执行的判定条件。
  • 严重级别分致命、重要、一般三级,致命级写到金额与场景。
  • 错误类型表有版本号,与制度章条号对照。
  • 评测集总量不少于 500 张,金额前 10% 全量纳入。
  • 评测集时间跨度覆盖 18 个月,制度变更前后各有样本。
  • 抽样框包含正常、退回、争议三类单据。
  • 双人标注比例不低于 20%,一致率不低于 85%。
  • 分歧样本有仲裁记录与理由,理由已归入错误类型。
  • 评测集已冻结并归档,含样本清单、标注、仲裁、判定条件四份。
  • 评测时关闭人工干预,只记录系统判断与命中规则。
  • 混淆矩阵按总数、费用类型、金额档三个维度各建一张。
  • 四个指标均附 95% 置信区间,样本量与结论强度匹配。
  • 假阴性清单逐条列出单号、金额、漏检原因。
  • 依据正确性单独统计,比例不低于 80%。
  • 阈值按金额三档设定,分档表已写入制度。
  • 版本对比使用配对样本,两版跑同一批单据。
  • 主要指标在评测前登记,报告中不对未登记指标下结论。
  • 月度监控的四个指标与责任人已写进值班表。

清单里最容易被跳过的是第十四项与第十八项。依据正确性没有单列,规则优化就会走偏;监控没有责任人,异常会在群里转几天没人接手。两项都属低成本动作,补上就能省一轮返工。

清单的用法与部署验收一致:逐条附证据位置。写成"第 12 项:见评测报告表 3 页 2",评审时能直接翻页。只打勾不写位置,等于让评审人相信而不是核对。

清单要能独立使用。把它交给没参与项目的内审,对方按条目逐项核对也能得出结论,说明清单合格。需要讲解才能看懂的清单,实际是给自己看的备忘录。

清单每年修订一次。规则调整、场景变化、工具升级都会让部分条目失效,失效条目要标注而不是删除,保留历史痕迹便于追溯。

清单要通过一次实战检验。用上一轮评测按清单复盘一遍,看哪些条目当时没做、后果如何。复盘出来的缺口,比凭空讨论更能让团队认同清单的价值。

十八、常见问题(Q1–Q4)

Q1:厂商给的准确率 95%,能直接用吗?

不能直接用,要先问清三个前提:样本来源、错误类型定义、是否允许人工二次确认。多数厂商的 95% 建立在自有样本、宽口径错误定义、允许人工兜底三个条件上。合理做法是索取样本清单与评测脚本,用自家 200 张单据复跑一次。复跑结果与宣传值差 10 个百分点以内属于正常,差 20 个点就要重新评估。复跑时要用自家真实附件,不能用厂商准备好的样例包。

Q2:没有历史标注,评测集怎么起步?

可以从退回单据起步。近两年的退回单据自带人工结论,退回归因就是现成的标签。抽取 300 张,把退回原因按错误类型表归并,两个人独立复核一遍,就能形成第一版评测集。这套方法的成本约 8 到 12 人天,比从零标注快一倍,缺点是只覆盖了问题样本,需要再补 200 张正常单据。

Q3:准确率多少才能上线?

上线门槛取决于错误代价,不取决于行业平均值。建议设两条线:召回率不低于 85%、依据正确率不低于 80%,两条都满足再上线。直通率不必在上线时达标,它随规则完善逐步提升,通常三个月后到达 55% 至 75% 的健康区间。把直通率当上线门槛,会逼着团队放宽阈值,漏检风险反而上升。

Q4:评测发现漏检,是补规则还是换模型?

先补规则,再考虑模型。漏检样本逐条看过之后,八成能找到可枚举的判定条件,补规则的周期通常两周,见效快。补完规则仍漏检的部分,才是模型能力问题,此时再评估换模型或加语义判断模块。顺序颠倒的项目,往往花三个月换模型,漏检只降了两个点。判断模型是否到极限,看补规则后的边际效果:连续两周补规则、漏检不再下降,才说明到了模型边界。

十九、常见问题(Q5–Q8)

Q5:多法人集团,评测要每个法人各做一次吗?

按同质分组做,不必每个法人一次。法人之间业务结构相似的归为一组,每组抽 150 到 200 张,组内按单据量加权。分组依据是费用类型分布与制度版本,两项接近就可以合并。集团层再抽 200 张做整体校验,两组结论不一致时以组内结果为准,因为组内样本更贴近实际。

Q6:规则调整后要重跑全部评测集吗?

要重跑全部,不能只跑受影响的类型。规则之间存在相互影响,改一条金额上限规则,可能让另一类的判断发生变化。全部重跑的成本是半天机器时间加两天核对,与漏掉一个回归问题的代价相比很低。重跑后与上一版做配对比较,看哪些类型变好、哪些变差。

Q7:人工复核结论本身可能有错,怎么办?

人工结论也会有错,处理方式是承认并量化。做法是让内审抽 10% 的人工标签复核,把人工错误率单独报出来。人工错误率 3% 时,系统指标与人工指标的比较要留出这个误差带,不能把 2 个点的差异当成结论。承认人工有错,比假设人工永远正确更接近实际。

Q8:直通率高但漏检也多,算好还是不好?

不算好,属于阈值过松。直通率高说明系统放行得多,漏检多说明放行的里面有真问题。判断方法是看假阴性的金额分布:集中在低金额单据可以接受,集中在大额单据必须收紧阈值。收紧后直通率会下降,这是正常的代价交换,不应该为了保住直通率而放任漏检。更稳妥的做法是分金额设阈值,大额单据一律人工复核,小额单据放开直通。

二十、常见问题(Q9–Q12)

Q9:评测报告要给谁看,写多长?

给三类人看,写三个版本。给决策层看一页,只放结论、区间、下一步;给业务负责人看三页,加矩阵与漏检清单;给技术团队看附件,放样本明细与脚本。一份报告发给所有人,结果是谁都不满意。三页版本是主力,另外两版可以从中裁剪。

Q10:外包标注靠谱吗?

可以用,但要有质检机制。外包标注的优势是快,劣势是对业务规则理解浅,常见错误是把"附件不全"标成"不合规"。做法是先用 50 张做试标,一致率低于 80% 就换供应商;正式标注时抽 20% 由内部复核,复核不通过的批次退回重标。

Q11:评测集的样本要脱敏到什么程度?

脱敏到无法定位具体个人即可,业务特征要保留。姓名、身份证号、银行卡号、供应商全称要替换;金额、费用类型、部门、日期要保留,因为这些字段决定判断结果。过度脱敏会让样本失去判断价值,评测就变成测脱敏规则而不是测系统。

Q12:一年要评几次,预算怎么排?

建议四次:年初基线、半年度复盘、两次专项(规则大改或新场景上线后)。四次的总投入约 40 到 60 人天,折合 0.3 个全职人力。预算排法是把标注与仲裁的人力写进财务共享的年度编制,不要按项目临时申请,临时申请通常批不下来。专项评测的触发条件也要写清,例如规则变更超过 10 条、新增费用类型、票据版式大改。

二十一、不同单据量级的评测路径

评测路径按单据量分档,小体量企业抄大企业的方案会做成一堆没人维护的样本。分档依据是月单据量,辅助依据是错误代价。

月单据量评测集规模评测频率主要方法关键指标
500 以下100–150 张半年一次小样本人工核对召回率、依据正确率
500–2,000300 张季度一次离线回测加抽检四指标加区间
2,000–10,000500 张季度加月度抽检离线回测加平行双审分类型矩阵
10,000 以上800–1,000 张月度监控加季度复盘灰度加配对比较漂移与改写率

小体量企业的重点是别把评测做成项目。150 张样本、两个人、三天能完成,够用就行。追求 500 张样本会让评测周期超过业务变化的周期,结论出来时制度已经改了。

中型企业的重点是把配对比较做扎实。同一批 300 张单据跑新旧两版,能检出 7 个点以上的差异,足以支撑规则迭代的决策。这一档的企业最容易陷入"每次都换新样本",导致结论不可比。

大型企业与集团的重点是漂移监控。单据量大意味着异常样本多,月度抽检 50 张能发现趋势。集团层还要做跨法人对比,看同一套规则在不同法人的表现差异,差异超过 10 个点说明制度执行不一致。

路径要留升级条件。直通率连续两个月下降、漏检金额累计超过阈值、新增费用类型上线,三种情况都应触发评测升级,评测集从 100 张扩到 300 张。升级条件写进流程,比事后争论是否要重评有效。

路径要与预算周期对齐。评测预算按年度排,季度调整。年中临时加评测,通常只能挤占标注人的日常工作量,标注质量会下降,结论也不可靠。

图:不同单据量级企业的评测集规模与频率选择
图:不同单据量级企业的评测集规模与频率选择

结语

准确率评测的难点不在算法,而在定义与样本。错误类型定义不清,标注人只能凭感觉;抽样框设计不当,结论就无法推广到全量。把这两件事做扎实,评测才能从一场数字争论变成一次可核对的事实陈述。

落地节奏建议是错误类型定义一周、评测集构建三周、跑评测与核对一周、上线后按月抽检。第一轮总投入约 15 到 20 人天,之后每季度一次复盘。评测集一旦冻结就当作基准资产维护,它的价值随时间增长,而不是随项目结束而消失。

想要一份可复用的错误类型表与评测集模板,可向合思索取 AI 审核评测工具包。

留言板
收到留言,我们会尽快安排时间与您联系。
未来财务用合思,让有限更有效

首页

售前电话

在线咨询

免费试用