400-835-8235
AI 审核的 7 个 Agent 怎么测?指标定义与测试方法
2026-11-16 内容分享

七个 Agent 必须分开测,只测整体准确率无法定位问题。审核链路是串联结构,识别节点读错一个金额,后面六个节点的判断都会跟着错,而整体准确率只下降一个样本。节点级测试能算出每个环节的贡献,通常两个节点就占掉八成错误。判断测试是否合格,看三样:每个节点有唯一主指标、测试集含专属难点样本、串联测试记录了每一跳的中间结果。

图:七个审核判断节点在链路上的串联与分工
图:七个审核判断节点在链路上的串联与分工
一句话答案:七个 Agent 的测试方法是分节点建指标、分节点建测试集、最后做一次串联验证。识别节点看单据级准确率,合规节点看漏拦率,查重看误判率,事由看标注一致率,复核看冲突检出率,五个主指标各自设目标值与底线值。
本文要点
  • 整体准确率是混合指标,定位问题必须分节点测。
  • 识别、合规、查重、事由、复核五个节点的主指标各不同。
  • 识别节点要同时报字段级与单据级两套口径。
  • 串联测试看的是传导错误,通过线是各节点准确率的乘积。
  • 每个节点建专属测试集,共用样本不超过 30%。

一、为什么只测整体准确率,测不出 AI 审核的问题?

AI 审核的整体准确率是一个混合指标,它把七个判断节点的表现压成一个数,看起来漂亮,出问题时无法定位。审核链路越长,这个数越没有诊断价值。

审核链路的实际结构是串联的。票据识别先把票面读出来,合规校验再比政策,查重再看是否重复,交叉复核最后兜底。前面节点读错一个金额,后面所有判断都跟着错,而整体准确率只下降一个样本。

节点级测试能定位瓶颈。七个节点各自算出指标之后,通常会发现两个节点贡献了八成的错误,其余五个节点的表现接近上限。改进资源集中投在这两个节点上,收益最高。

节点测试还能避免责任模糊。系统说规则配错了,规则团队说模型读错了,两边都能拿出看似合理的解释。有了节点级数据,争论就变成看数字,谁的环节掉分谁改。

供应商评估同样需要节点数据。两家厂商的整体准确率接近,节点表现可能完全相反:一家识别强、判断弱,另一家识别弱、判断强。选型要看自家单据在哪一环最容易出错。

二、七个 Agent 分别管什么?七类判断节点的分工

七个 Agent 指审核链路上的七类判断节点,分工按"读得懂、判得准、查得出、兜得住"四层展开。不同厂商的划分口径不完全一致,节点数量从五个到九个都有,判断逻辑相近。

识别节点负责把票面信息读成结构化字段,包含发票代码、金额、税额、开票方、商品明细。识别节点的输出是后面所有判断的输入,它对上游错误没有免疫力。

合规节点负责比对政策与标准,包含费用标准、审批权限、预算额度、发票合规性四类校验。合规节点的判断依据是制度文本,规则是否写清直接决定它的表现。

查重节点负责识别重复报销,比对对象包含发票号码、金额加日期、附件图像相似度三类。查重节点的阈值设置直接决定误报量,阈值过低会把同一批次的正常发票判成重复。

事由节点负责判断费用事由是否充分,例如招待费是否写清对象与目的、差旅是否与行程匹配。事由判断带有主观性,是七个节点里最难量化、也最容易产生标注分歧的一环。

交叉复核节点负责发现节点之间的矛盾,例如发票金额与报销单金额不一致、行程日期与住宿日期冲突。复核节点的作用是兜底,它的召回率决定整条链路的最终可靠性。

节点核心动作输入输出测试重点
识别票面转结构化字段票据图像字段值字段级准确率
合规比对政策与标准单据字段命中规则命中率与漏拦率
查重识别重复报销发票号、图像重复标记误判率
事由判断事由充分性事由文本充分性结论标注一致性
交叉复核发现节点矛盾多节点结果冲突清单冲突检出率

七类之外还有两类辅助节点:供应商资质校验与税率校验,通常与合规节点合并测试。合并的标准是判断依据是否共用同一份主数据,共用的合并,不共用的单列。

节点划分不是行业标准,厂商之间的差异主要体现在合并方式上。有的把查重与合规合成一个节点,有的把识别拆成票据识别与附件识别两个节点。选型时问清划分方式,比问有几个 Agent 更有意义。

节点数量会影响测试成本,也会影响运维复杂度。节点多,定位问题容易但集成成本高;节点少,集成简单但出问题时只能整段排查。中型企业七个节点是比较平衡的选择。

节点划分要写进项目文档,并在每次版本升级时复核。厂商升级后合并或拆分节点的情况并不少见,节点一变,原来的测试集与指标就要重新映射,不映射就会拿旧指标比新能力。

三、哪些节点必须单独测,哪些可以合并测?

必须单独测的节点有三个:识别、查重、交叉复核。三者的错误模式完全不同,混在一起测会互相掩盖,改进时也找不到落点。

识别必须单独测的理由是它的错误会向下传导。识别错一个金额,合规判断、查重比对、交叉复核都可能跟着错,把这三种错误混在一起统计,等于把根因和表象算成一类。

查重必须单独测的理由是它的阈值敏感。查重的误判率随阈值变化剧烈,合并测试看不出阈值调整的效果。单独测才能画出阈值与误判率的曲线,找到代价最小的落点。

交叉复核必须单独测的理由是它的作用是兜底。复核节点的价值体现在"抓到了其他节点漏掉的问题",这个能力只有单独统计冲突检出率才能看到,合并测会被其他节点的正确判断稀释。

可以合并测的节点是合规与税率、供应商资质三者。三者的判断依据都来自主数据与制度文本,错误模式相近,合并成一组测试能减少标注工作量。

事由节点建议单列但降低权重。事由判断的主观性强,标注一致率通常只有 75% 到 85%,把它与客观判断混测会拉低整体指标,也会让团队误以为系统变差。

合并测试还有一个前提是错误模式相近。两个节点的判断依据如果一份是制度条文、一份是主数据,错误模式就不一样,合测会掩盖其中一方的短板。判断依据不同就分开测,这是最省事的划分原则。

合并之后仍要保留分项数据。合测的指标只用于汇报,明细要按节点分开存,出问题时才能定位。只存合计数字的项目,三个月后就无法回答到底哪一环弱。

四、识别节点怎么测?字段级与单据级两套口径

识别节点要用两套口径同时测:字段级看每个字段读对没有,单据级看整张单据是否可用于后续判断。两套口径的差距通常在 5 到 12 个百分点。

字段级准确率的算法是读对字段数除以应读字段数。应读字段要按票据类型定义,增值税专用发票通常 8 到 12 个关键字段,行程单 5 到 7 个。字段定义不清,指标就没有可比性。

单据级准确率的算法是全部关键字段都读对的单据数除以总单据数。单据级指标更贴近业务感受,因为一个字段错就可能让整张单据被退回。

关键字段要分级。金额、税额、开票日期、发票号码四个字段定为一级,错一个即判单据不可用;开票方名称、商品明细定为二级,错了可以人工修正。分级之后,单据级指标才有明确含义。

识别测试集要覆盖版式多样性。同一类票据在不同开票系统下版式不同,测试集里要包含至少五种版式,每种不少于 20 张。只用一种版式测出来的准确率,换一个供应商就会掉十个点。

识别错误的归因要分四类:图像质量、版式未见、字段歧义、模型误判。四类的改进动作完全不同,图像质量靠前端拍摄规范,版式未见靠样本补充,字段歧义靠规则说明,模型误判才需要算法介入。

五、合规节点怎么测?命中率与漏拦率要分开

合规节点要测两个方向:该拦的拦住了没有(漏拦率),不该拦的拦了没有(误拦率)。两个方向对应两种代价,合并成一个"准确率"会掩盖风险。

漏拦率的算法是应拦未拦的单据数除以应拦单据总数。应拦的判断依据是制度条文,测试前要把条文翻译成可执行的判定条件,翻不出来的条文无法测试。

误拦率的算法是误拦单据数除以系统拦截总数。误拦率高的直接后果是审核员开始跳过提示,跳过三次之后,系统提示就失去作用,漏拦率随之上升。

命中率不是独立指标,它是漏拦率的补数,报一个就够。报告里同时出现"命中率 92%"与"漏拦率 8%",读者会以为是两个不同的发现,实际是同一件事。

分规则测试比整体测试有用。合规节点通常有几十条规则,整体漏拦率 8% 可能来自其中三条规则的集中失效。按规则拆开测,能直接定位到需要重写的那几条。

规则测试要覆盖边界值。金额上限 5,000 元的规则,要测 4,999、5,000、5,001 三个值,很多系统在等号边界上判断错误。边界测试的样本量不用多,每条规则五个值足够。

漏拦率的测试要包含应该拦但规则没写的场景。规则文本没覆盖的情形,系统不会报错,测试也容易漏掉。做法是把近两年的争议单据过一遍,看有多少属于规则空白,这个比例通常在 10% 到 20%。

规则空白与规则失效要分开处理。空白靠补规则,失效靠改写法。两类混在一起讨论,结论往往是规则不够用,实际是写法有问题,改写法两周能解决,补规则要两个月。

六、查重节点怎么测?相似度阈值与误判代价

查重节点的测试核心是阈值曲线,不是单一准确率。阈值从 0.7 调到 0.95,误判率能差五倍,漏判率也差三倍,两者此消彼长。

测试方法是构造正负样本对。正样本对是真实的重复报销(同一发票报销两次、拆单报销),负样本对是正常的多张相似发票(同一供应商连续开票、同一批次采购分单)。正负样本各 100 对起步。

相似度阈值的效果要用曲线呈现。横轴是阈值,纵轴是误判率与漏判率,两条曲线交叉的区域就是可选区间。交叉点通常在 0.85 到 0.92 之间,具体位置取决于业务容忍度。

误判的代价要算清。一次查重误判,审核员要花 5 到 10 分钟核对发票原件与报销记录,还要向业务解释。每天十次误判,等于占用一个审核员一小时的产能。

漏判的代价更直接。一次漏判对应一次重复支付,追回流程通常需要两到三周,还可能涉及跨部门协调。单次漏判的处理成本通常是单次误判的 20 倍以上,阈值应偏向多报。

图像相似度与字段相似度要分开测。字段相似度查的是发票号与金额,准确率高但容易被改号规避;图像相似度查的是票面版式与印章,能发现改号,但误判率更高。两者要组合使用,测试时分别给出指标。

查重的测试集要包含跨期样本。同一张发票在不同月份各报一次,间隔越久越难发现。测试集里至少要放 20 对跨期样本,间隔覆盖 1 个月、3 个月、6 个月三档,看检出率如何衰减。

查重的阈值要按金额分档。小额单据的误判成本主要是人工核对,大额单据的漏判成本是资金损失,两类的阈值不应相同。分档之后,测试要按档位分别给出指标,不能只报一个总数。

七、事由节点怎么测?主观判断的标注一致性

事由节点的测试要先解决标注一致性,再谈准确率。两个人对同一条事由给出相反结论,说明判定标准不清,此时的准确率没有意义。

一致性用 Kappa 系数或简单一致率衡量。审核场景建议用简单一致率,计算方便、业务能懂。一致率低于 75% 时,先回去把判定标准写成条目,再重新标注。

判定标准要写成三档:充分、不足、无法判断。二档设计会逼着标注人在模糊地带做选择,三档设计允许"无法判断",反而能看出真实的模糊比例。

模糊样本的比例本身是重要指标。模糊比例超过 20%,说明制度对事由的要求写得不清楚,该修的是制度而不是系统。系统在模糊样本上的表现,不应该计入准确率。

事由节点的测试集要按费用类型分层。招待费与市场推广费的事由判断最难,差旅与办公相对容易。两类混测会让指标落在中间,看不出真实难度。

改进事由节点通常靠提示而不是判断。系统在提交环节提示"请写清招待对象、人数、事由",比事后判断更有效。测试时要同时评估提示的触发率与业务的实际填写改善。

事由判断的改进空间在制度侧。制度里把事由要求写成可检查的条目,例如招待费需写明对象单位、人数、目的,判断就有了依据。制度不写清,模型只能凭语感判断,一致性永远上不去。

事由节点的测试要与业务共同做。财务单独标注会把业务认为清楚的事由判为不足,导致误判。标注组里至少要有两名业务侧人员,比例不低于三分之一。

八、交叉复核节点怎么测?冲突检出率

交叉复核节点的指标是冲突检出率,即应发现的节点矛盾中被发现的比例。这个指标只有单独测才能得到,合并测会被其他节点的正确结果稀释。

冲突类型要先定义清楚。常见四类:金额不一致(发票与报销单)、日期冲突(行程与住宿)、对象不一致(事由提到的人与参会名单)、税率错配(发票税率与费用类型)。四类冲突的检出要分别统计。

测试集的构造方法是人工植入冲突。取 100 张正常单据,人工制造 30 处冲突,看系统能发现多少。植入冲突要自然,改动幅度控制在合理范围,改动过大系统会因其他规则报警而"顺带"发现。

检出率的合理区间是 70% 到 85%。低于 70% 说明规则没覆盖冲突类型,高于 90% 要警惕是不是误报换来的,此时要看复核节点给出的冲突提示中有多少是真冲突。

复核节点还要测"不误报"能力。正常单据被标出冲突,会引发不必要的核查。误报率控制在 5% 以内属于健康,超过 10% 会让审核员对冲突提示失去信任。

复核节点的价值在长尾。它发现的往往是前六个节点都没覆盖的异常,这类样本在测试集里占比低,需要专门构造。只测自然样本,复核节点的价值会被系统性低估。

复核节点的规则要能解释。系统报出冲突却说不清冲突在哪,审核员仍要自己找,等于没帮上忙。测试时把冲突描述是否可执行单列一栏,描述含糊的比例超过 20% 就要改提示文案。

图:AI 审核七个判断节点在审核链路上的串联关系
图:AI 审核七个判断节点在审核链路上的串联关系

九、第一步:把审核链路拆成节点

链路拆解是节点测试的起点,通常需要 3 到 5 天。交付物是一张链路图,图上每个节点标注输入、输出、判断依据三件事。

画出现有审核流程,从提单到付款,标出每一步由谁做、看什么、依据什么。流程图不用好看,要能看出每一步的输入来源。

把人工动作映射成系统节点,一个动作对应一个节点,动作之间的数据传递对应节点之间的连线。映射时保留人工动作的名称,便于后续对照。

为每个节点标注判断依据,写明依据是制度条文、主数据、历史数据还是经验判断。依据类型决定这个节点能不能被规则化。

标注节点的错误传导路径,写明"这个节点出错会导致哪些下游节点跟着错"。传导路径决定测试的顺序,先测上游。

找出没有对应节点的动作,通常是沟通、催办、解释三类。三类动作不进入系统,但占用审核工时,测算时不能漏。

与业务确认链路图,逐节点确认输入输出描述是否准确。确认后的图作为测试范围依据,后续不再增加节点。

链路图要控制在一页内。节点超过十二个时,把辅助节点合并,保留主干。链路图的作用是让评测范围可见,不是完整还原业务。

拆解结果要与制度对照。制度里写了但流程里没有的动作,说明执行不到位;流程里有但制度没写的动作,说明存在隐性规则。两类差异都要记录,它们是后续改进的入口。

链路图要标出人工干预点。哪些节点允许人工覆盖、覆盖需要什么理由、覆盖记录存在哪里,三件事写在图上。没有覆盖记录的链路,测试时无法区分系统判错与人工改对。

链路拆解要给出节点间的数据契约。上游节点输出哪些字段、下游节点依赖哪些字段、字段缺失时怎么处理,三件事写清楚。契约不清的链路,测试时会在节点之间出现大量无法解释的空值。

链路拆解要与后续测试范围绑定。图上每个节点对应一个测试集编号,没有编号的节点说明还没纳入测试,评审时一眼就能看出缺口。

十、第二步:为每个节点定指标

指标定义要落到"一个节点一个主指标",主指标之外再配一到两个辅助指标。主指标用于判断能否上线,辅助指标用于定位问题。

给每个节点选一个主指标,识别节点用单据级准确率,合规节点用漏拦率,查重节点用误判率,事由节点用一致率,复核节点用冲突检出率。主指标只选一个,选多了等于没有主指标。

为主指标写清计算公式与分母,分母定义必须包含样本范围与时间范围。写成"近 18 个月、分层抽样 500 张中的应拦未拦单据数",比写成"应拦未拦数"可核对。

配一到两个辅助指标,例如识别节点配字段级准确率,合规节点配误拦率。辅助指标不参与上线判断,只在主指标达标但业务体感差时用来解释原因。

给每个指标设目标值与底线值,目标值是期望达到的水平,底线值是不能再低的水平。两个值都要有依据,依据来自历史数据或业务容忍度,不能凭空写。

明确指标的取数位置,写清从哪个系统的哪个字段取,谁有权限取。取数位置不清的指标,第一次汇报就会被问住。

与业务、内审共同确认指标表,确认后冻结版本。冻结之后新增指标要说明理由,避免指标随汇报对象变化。

指标数量要控制。七个节点各一个主指标加一到两个辅助指标,总数控制在十五个以内。超过二十个指标的报告,读者只会记住三个,其余全部浪费。

指标之间要有勾稽关系。识别节点的单据级准确率,应该能解释合规节点漏拦率的一部分变化;解释不了说明两个指标的分母定义不一致,需要回去对齐。

指标要能反映变化。设计指标时问一句"这个指标能区分好版本与坏版本吗",区分不出来的指标属于描述性指标,适合放进运营台账,不适合作为上线判断依据。

指标命名要让业务看懂。写单据级识别准确率,不写 OCR 全字段 ACC;写漏拦率,不写 FNR。业务看不懂的指标,汇报时只能听结论,无法参与讨论,改进建议也就提不出来。

指标表要留一列数据责任人。谁负责取数、谁负责核对、谁负责解释异常,三个人名写在表里。没有责任人的指标,第一次对不上数就没人认账,讨论会变成互相推。

十一、第三步:建分层测试集

测试集要按节点分别建,不能七个节点共用一套样本。识别节点需要图像质量覆盖,合规节点需要边界值覆盖,两类需求差异很大。

按节点列出样本需求,写明每个节点需要多少张、覆盖哪些场景、必须包含哪些异常类型。需求清单是后续抽样与标注的依据。

建立共享样本池,包含正常单据、退回单据、争议单据、人工构造样本四类。共享池的作用是避免重复收集,各节点从池中按需求抽取。

为每个节点抽专属测试集,规模按节点复杂度定,识别与合规各 300 张以上,查重 200 对正负样本,事由 200 张,复核 100 张加 30 处人工植入冲突。

标注要分节点进行,标注人只标本节点的判断,不看其他节点的结果。跨节点同时标注会导致锚定,后面的判断被前面的结论带偏。

冻结每个节点的测试集并编号,编号规则包含节点名与版本号,例如识别 V1、合规 V1。后续对比都引用编号,不再重建。

建立测试集维护台账,记录每次新增、替换、失效的样本。台账要能回答"这批样本里有多少张是 2025 年之后新增的"。

测试集之间可以有重叠,但重叠比例要控制。识别与合规共用的样本不宜超过 30%,共用太多会让两个节点的错误互相传导,指标失去独立性。

测试集要写清来源与时间。样本清单里标明来自哪个法人、哪个月份、哪类费用,三个月后回看仍能判断代表性。来源不清的测试集,换一个人接手就无法评估它是否还适用。

测试集要能回答覆盖度问题。评审常问一句话:这个测试集覆盖了多少种票据版式、多少个费用类型、多少个法人。三个数字答不上来,说明建集时没做覆盖度设计。

测试集要留一批"暗样本"。暗样本不参与任何调优,只在正式评测时使用,用来检验调优是否过拟合。暗样本比例建议 15%,用完即换。

人工构造样本要标注来源。植入冲突的样本、改号的发票、拆单的记录,都要在台账里标明"构造",汇报时说明比例。构造样本占比超过三成,结论的可推广性会下降。

测试集要与生产数据隔离。放在生产库里容易被误用,也容易随业务流转改变状态。建议单独建库、单独授权,只有评测负责人可写。隔离之后,测试集的稳定性才有保障。

测试集要能按场景切片。按费用类型、金额档、法人三个维度都能切出子集,切不出来就无法分析结构性差异。切片能力在建集时就要设计好,事后补字段成本很高。

图:七个 Agent 各自测试集的构成与共享样本池关系
图:七个 Agent 各自测试集的构成与共享样本池关系

十二、第四步:端到端串联测试

节点测试合格不代表整条链路合格。串联测试的目的是发现节点之间的传导错误与矛盾判断,这类问题在节点测试里看不到。

串联测试用同一批单据跑完整链路,比对最终结论与人工结论。样本量 300 张起,必须包含节点测试里表现最差的场景,用来观察错误是否被放大。

传导错误是串联测试的主要发现。识别把金额读错一位,合规节点按错误金额判断为超标,复核节点又没发现金额矛盾,最终一张正常单据被拦。三个节点各自"正确",链路结果错误。

串联测试要记录每一跳的中间结果。只记录最终结论,无法定位是哪个节点引入的错误。中间结果要包含节点名、判断结论、置信度、命中规则四个字段。

节点间的一致性要单独统计。合规判通过、复核判冲突,这类矛盾比例超过 5% 说明节点的判断标准不统一,需要回去对齐规则而不是调模型。

串联测试的通过标准不是 100%。链路准确率达到节点准确率的乘积水平即属正常,例如识别 95%、合规 92%、复核 90%,乘积约 78%,链路结果落在 75% 到 80% 之间就合理。

串联测试要留一份失败样本集。所有链路判错的单据单独归档,作为下一轮规则优化的输入。失败样本集按季度清理一次,已经修好的移出,新出现的补进来。

串联测试要跑两轮。第一轮找问题,改完之后第二轮验证。改动超过三处时建议重跑全量,改动少时可以只跑受影响的场景,但要在报告里说明范围。

串联测试要固定样本。两轮用同一批单据,才能看出改动效果。换样本会让差异归因失效,评审时无法判断是指标改善还是样本变简单了。

串联测试的成本主要在归因。300 张单据里出现 40 张错误,每张都要追到具体节点,工作量约 3 人天。归因不做的测试只能给出总数,无法指导改进,价值减半。

十三、七类节点怎么对比?一张表看差异

七个节点的测试难度差异很大,用一张表把关键差异列出来,便于分配资源。资源应优先投向错误传导最广、改进空间最大的节点。

节点主指标测试集规模标注难度改进空间错误传导
识别单据级准确率300 张以上低中最广
合规漏拦率300 张以上中大广
查重误判率200 对低中窄
事由标注一致率200 张高大窄
交叉复核冲突检出率100 张加 30 处中中兜底

识别节点的改进空间中等,原因是模型能力已经比较成熟,提升主要靠样本补充与图像质量。它的错误传导最广,因此测试优先级最高,即使改进空间不大也要先测。

合规节点的改进空间最大,漏拦率从 15% 降到 8% 是常见路径,办法是补规则与细化判定条件。它的测试成本可控,标注难度中等,属于投入产出比最高的一环。

查重节点的改进空间中等,阈值调整能带来明显变化,但调节空间有限。它的错误传导窄,出问题只影响重复报销一个场景,测试优先级可以稍低。

事由节点的标注难度最高,一致率难以上去。它的改进主要靠制度细化与填写提示,不是靠模型。测试时应把重点放在模糊样本比例的统计上,而不是追求高一致率。

节点之间的优先级要动态调整。上线初期优先测识别与合规,因为它们的错误传导最广;稳定运行半年后,优先级转向事由与复核,因为前两者的错误已经被规则压住,长尾问题浮上来。

对比表要能落到预算上。每个节点的测试人天与改进人天分别列出,两项相加就是年度投入。只列指标不列人天的表,评审时无法判断该批多少资源。

对比表要附一句结论。五个节点里通常有一个明显偏弱,表格要用一句话点出来,例如合规节点的漏拦率是主要短板。表格不点结论,读者要自己找,讨论就会发散。

图:七类审核节点在指标、样本量与改进空间上的差异
图:七类审核节点在指标、样本量与改进空间上的差异

十四、测试成本与周期怎么估?

七个节点全测一遍,中型企业的投入通常在 25 到 40 人天,周期 6 到 8 周。成本主要花在标注与串联测试两段,节点定义与报告撰写占比不高。

识别节点的测试成本约 5 人天,主要是样本收集与字段核对。合规节点约 8 人天,规则逐条测试较费时。查重约 4 人天,正负样本对构造是主要工作。事由约 8 人天,双人标注与仲裁占大头。复核约 5 人天,含冲突植入。

串联测试约 6 人天,包含跑数、比对、归因。报告撰写 3 人天,含图表与结论。七个数字加起来约 39 人天,实际执行通常在 30 人天左右,因为部分样本可以复用。

周期压缩有两条路径。一是减少节点,把合规与税率、供应商资质合并测,能省 3 人天;二是降低标注强度,事由节点先做 100 张单标,一致率达标后再扩到 200 张。

周期不要压得太狠。4 周内完成七个节点测试的项目,通常跳过了仲裁环节,标注质量无法保证,结论在评审时经不起追问。宁可缩小范围,也不要压缩必做动作。

后续维护成本按年计。每年全量重测一次约 20 人天,每季度抽检约 5 人天。维护成本要写进年度预算,否则第二年就没人维护测试集,指标随之失效。

成本估算要区分一次性与经常性。建测试集、定指标属于一次性投入,约 25 人天;重测、抽检、样本补充属于经常性投入,每年约 25 人天。两类混在一起报,预算会被当成一次性项目砍掉。

成本要按节点列出来。识别 5 人天、合规 8 人天、查重 4 人天、事由 8 人天、复核 5 人天,逐项列出的预算比报总数更容易通过。财务审预算看的是明细,总数只能看个大概。

成本要与收益对照。测试投入 30 人天,换来直通率提升 8 个百分点,按年单据量折算的年化收益通常能覆盖投入的三到五倍。这笔对照写进报告,测试预算就不需要每年重新争取。

十五、和规则引擎、人工复核、档案怎么分工?

Agent 测试不是孤立动作,它要与规则引擎、人工复核、档案三套机制配合。分工不清会导致同一件事测三遍,或者三处都没测。

规则引擎负责执行,Agent 测试负责验证执行的正确性。规则引擎的单元测试看"规则有没有按写法执行",Agent 测试看"规则写得对不对",两者层次不同,不能互相替代。

人工复核负责兜底,Agent 测试要量化兜底的比例。复核比例过高说明 Agent 能力不足,过低说明风险敞口大。合理区间是复核比例 25% 到 45%,具体取决于单据金额分布。

档案负责留痕,Agent 测试的结论要能追溯到单据。合思(北京合思信息技术有限公司)在费用报销场景里把每个节点的判断结论与命中规则写入单据详情,测试时可以直接调取,不用重新跑数。

电子档案的价值在事后核查。合思在电子会计档案方案里保留审核意见、附件版本与规则版本三样,稽查时可以还原当时的判断链路。测试报告里引用档案编号,结论就有了证据支撑。

采购类单据的节点测试要与比价链路联动。商城的比价记录可以验证"价格异常"这类判断是否正确,测试时用它做交叉核对,比人工比对省一半时间。

四方分工要有一张交接表。表里写清谁提供样本、谁标注、谁跑数、谁签字,四列对齐之后,测试周期能缩短一周,争议也会少很多。

分工要覆盖异常情形。样本不合格谁返工、标注争议谁裁定、跑数结果对不上谁复算,三件事提前定。异常情形占测试时间的比例不低,事前没定,事中就要开会。

分工要与考核挂钩。标注质量、取数及时性、报告签字时效,三项可以写进相关岗位的季度目标。不挂钩的分工,执行力度取决于个人责任心,项目越大越容易失控。

分工文件要随项目归档。人员变动时,新接手的人看文件就能知道前任做到哪一步、哪些结论已经签字。没有归档的项目,换一个人就要重做一遍沟通。

十六、五个误区:测了七个节点,结论还是错的

第一个误区是用同一批样本人人过关。七个节点共用一套 300 张样本,识别用了、合规用了、事由也用了,每个节点的指标看起来都不错,串联起来却掉十个百分点。原因是样本没有覆盖各节点的专属难点。

第二个误区是只测准确率不测传导。节点准确率 95%、92%、90% 看起来都及格,链路结果是 78%,低于业务预期。不测传导的项目,会在上线后被告知"每个环节都对,但结果是错的"。

第三个误区是把阈值调到指标最好看。阈值调到让指标最优,误报率往往同时上升,审核员开始跳过提示,实际漏拦反而增加。指标好看与业务有效是两件事。

第四个误区是忽略了标注人的主观漂移。同一批样本,三个月后由同一个人重标,一致率可能只有 85%。标注漂移会让版本对比失真,看起来模型退化,实际是标注变了。

第五个误区是拿厂商的节点指标直接对比。厂商的识别节点用自家样本测出 98%,企业的单据版式更杂,实测 91%。两个数字不在同一口径上,比较没有意义。

误区表现后果纠正
七节点共用样本各节点指标都好看串联掉十个百分点每节点建专属测试集
只测节点不测传导各环节及格链路结果不达标加串联测试
为指标调阈值指标最优、误报上升审核员跳过提示按代价比定阈值
忽略标注漂移版本对比失真误判模型退化定期重标校准
直接对比厂商指标用厂商口径比自家结论不可比用自家样本复跑

五个误区里最隐蔽的是第四个。标注漂移不会报错,也不会被指标发现,只在版本对比时表现为"模型变差了"。避免办法是保留一批锚定样本,每次评测都重标一遍,看一致率是否稳定。

七个 Agent 的测试要有一份总览。总览里列每个节点的主指标、测试集编号、评测日期、结论,一页纸能看出哪个节点最弱。总览每月更新一次,比翻七份报告高效。

总览要标出变化方向。每个主指标后面加一个箭头,与上月对比,升还是降。方向比绝对值更能引起注意,一个向下箭头往往比一段文字解释更有效。

总览要能直接进汇报。一页纸、五个节点、五个主指标、五个箭头,加上一句结论,就是管理层要看的全部内容。超过两页的总览,汇报时只会被翻到第一页。

误区还有一个衍生版本:把节点测试当成一次性的验收动作。系统上线后规则会改、版式会变、业务会调整,节点能力随之漂移,测试要按季度重跑。只做一次的项目,第二年指标已经不知落在哪里。

图:七个 Agent 测试中五类常见误区与纠正路径
图:七个 Agent 测试中五类常见误区与纠正路径

十七、验收清单:18 项逐条打勾

验收清单确认七个节点的测试结果可以支撑上线决策。清单里的每一项都对应一个上线后才会暴露的问题,逐条打勾能省掉三个月的返工。

  • 审核链路已拆成节点,每个节点标注输入、输出、判断依据。
  • 节点清单包含辅助节点,并说明合并测的理由。
  • 每个节点有唯一主指标,公式与分母写清。
  • 每个指标有目标值与底线值,并注明依据来源。
  • 指标总数控制在 15 个以内,有勾稽关系说明。
  • 每个节点有专属测试集,编号含节点名与版本号。
  • 测试集样本量达标:识别与合规各 300 张以上,查重 200 对。
  • 识别节点同时报字段级与单据级准确率。
  • 关键字段已分级,一级字段错误即判单据不可用。
  • 合规节点按规则拆分测试,边界值已覆盖。
  • 查重节点给出阈值与误判率、漏判率的关系曲线。
  • 事由节点的标注一致率不低于 75%,模糊样本比例已统计。
  • 复核节点包含人工植入冲突,检出率在 70% 到 85% 之间。
  • 暗样本比例不低于 15%,未参与任何调优。
  • 串联测试样本量 300 张以上,包含节点测试最差场景。
  • 串联测试记录每一跳的中间结果,含结论与置信度。
  • 节点间矛盾比例低于 5%,或已给出对齐方案。
  • 测试报告附测试集台账与档案编号,结论可追溯。

清单里最容易漏的是第十四项与第十八项。暗样本没留,调优就会过拟合;档案编号没写,结论无法追溯。两项都属于低成本动作,补上能省一轮返工。

清单的用法与评测清单一致:逐条附证据位置。写成"第 15 项:见串联报告 4 页",评审时能直接翻页核对。只打勾不写位置,等于让评审人相信而不是验证。

清单要有签字栏。四个签字位:测试负责人、财务共享负责人、内审、IT 运维,四方签完才算通过。签字不是为了追责,是为了让每个人在签字前把自己那一栏真的看一遍。

清单要能向下拆。18 项里的每一项,都对应一份支撑材料,材料清单附在清单后面。评审时要材料能立刻找到,找不到就等于没做。

清单要与上一次的缺口对照。上一轮没打勾的条目,这一轮要重点看,连续两轮未闭环的条目要升级到项目周会。清单不是每年重写一遍的表格,而是逐轮收敛的工单。

十八、常见问题(Q1–Q4)

Q1:七个 Agent 每个都要单独测,工作量会不会太大?

工作量可以按风险分配,不必平均用力。识别与合规两个节点错误传导最广,单独测并做到 300 张样本;查重与复核可以降到 200 张与 100 张;事由节点先做 100 张单标,一致率达标再扩。按风险分配之后,总投入能压到 25 人天左右,关键节点的覆盖不受影响。真正不能省的是串联测试,它只有一次机会发现传导错误。

Q2:节点测试做完了,还要不要做整体测试?

要,两种测试回答的问题不同。节点测试回答哪个环节弱,整体测试回答这条链路能不能用。整体测试的通过标准通常是各节点准确率的乘积水平,落在 75% 到 80% 之间属于正常,低于这个区间说明存在传导错误,需要逐跳排查。串联测试的样本要与节点测试有 50% 重合,便于对照。

Q3:识别节点的字段级和单据级指标差很多,以哪个为准?

两个都报,判断用单据级。字段级准确率 97%、单据级 88% 是常见组合,说明多数错误集中在少数关键字段上。单据级指标更贴近业务体验,因为它反映的是这张单据能不能用。字段级指标用于定位,告诉团队该补哪几个字段的样本。两套指标同时下降,说明是模型问题;只有单据级下降,说明是特定字段的版式问题。

Q4:厂商说他们的 Agent 已经测过,能直接用他们的报告吗?

不能直接用,可以拿来核对。厂商报告的价值在于提供测试方法与样本结构,指标本身要自家复跑。复跑用 200 张自家单据,重点看识别节点在新版式上的表现,这一环最容易出现差距。复跑结果与厂商报告的差距超过 8 个百分点,说明样本结构差异大,需要补充样本再评。复跑时要把自家最难的三类单据各放 20 张进去。

十九、常见问题(Q5–Q8)

Q5:查重节点的正负样本对怎么构造才真实?

负样本要从真实业务里找,不要人工编。同一供应商连续开票、同一批次采购分单、同一项目多人报销,三类都是天然的高相似度正常样本。正样本可以人工构造,但改号幅度要小,改得太多系统会因其他规则报警而顺带发现,检出率虚高。负样本里还要放老发票的再次报销,这类最容易漏。

Q6:事由节点一致率只有 70%,是不是系统不行?

不一定,先看标注是否稳定。两个人对同一条事由的判断一致率只有 70%,说明判定标准本身模糊,此时的系统准确率没有参考价值。做法是先修标准,把充分、不足、无法判断三档写成条目,再重新标注。标准改完之后一致率通常能到 80% 以上,系统表现也会随之清晰。若一致率仍低于 75%,说明这类判断不适合自动化,应改为提示而非拦截。

Q7:串联测试的中间结果怎么记录才不丢信息?

每个节点输出四个字段:节点名、判断结论、置信度、命中规则。四个字段落到一张宽表里,一行一张单据乘以节点数。宽表要能按单据号聚合,也要能按节点切片。缺了置信度,就无法判断错误是判错还是判得犹豫。宽表还要保留原始字段值,否则归因时要回去翻单据。四个字段落到一张宽表里,一行一张单据乘以节点数。宽表要能按单据号聚合,也要能按节点切片。缺了置信度,就无法判断错误是"判错"还是"判得犹豫"。

Q8:七个节点的指标都达标了,为什么直通率还是低?

指标达标不等于直通率高。直通率还受阈值、复核比例、附件质量三个因素影响。节点指标 90% 以上但直通率只有 40%,通常是复核比例设置过高,或者附件缺失触发人工。先查这两项,再动模型。三项都正常时,再看是否存在规则之间的相互抵消。

二十、常见问题(Q9–Q12)

Q9:节点测试的周期能不能压缩到两周?

两周只能做单节点测试,七个节点全测不现实。可行的压缩方式是把范围缩到识别与合规两个关键节点,各 200 张,跑完加一次串联测试,两周可以完成。结论会粗一些,但足以判断系统能不能进入试点。压缩时要明确写下未覆盖的节点与风险。

Q10:测试集要不要定期换样本?

要换,但保留大部分。建议每年替换 30%,保留 70% 做纵向对比。替换比例过高会让历史对比失去意义,过低会让测试集脱离当前业务。替换时优先换掉超过两年的样本与已经失效的票据版式,新增样本要从近三个月的新单据里抽,抽取比例按费用类型分布对齐。

Q11:暗样本用完了怎么办?

用完之后立即补充一批新的,保持 15% 的比例。补充的样本不能来自已经公开的测试集,也不能来自调优时用过的单据。暗样本的管理要有专人负责,放在单独目录,调优人员不可见。暗样本一旦被查看,其验证价值即刻清零。

Q12:多法人集团,节点测试要不要每个法人做一遍?

按同质分组做。法人之间单据结构相似的归为一组,每组抽 150 到 200 张。差异大的法人单列,例如有跨境业务的法人、费用类型特殊的法人。集团层再做一次串联测试,看同一套逻辑在不同法人的表现差异。差异超过 10 个点,说明制度执行不一致,先治制度再谈模型。

二十一、不同单据量级的测试路径

测试路径按单据量与节点数量分档,小企业抄集团的方案会做成一堆没人维护的样本。分档依据是月单据量,辅助依据是节点定制程度。

月单据量测试节点数每节点样本量周期主要方法
500 以下3 个关键节点100 张2–3 周单节点加快速串联
500–2,0005 个节点200 张4–5 周节点测试加串联
2,000–10,0007 个节点300 张6–8 周全节点加两轮串联
10,000 以上7 个节点加辅助节点500 张8–10 周全节点加灰度验证

小体量企业的重点是测关键节点,识别与合规两项抓住,其余靠人工兜底。三个节点、100 张样本、两周时间,足够判断系统能不能用。

中型企业要把串联测试做扎实。五个节点各 200 张,加上一次 300 张的串联测试,能发现绝大部分传导错误。这一档最容易犯的错是把七个节点都测一遍,但每个只测 100 张,结论反而更不可靠。

大型企业与集团的重点是灰度验证。七个节点全测之后,选一个法人先跑,观察真实单据下的节点表现。灰度期的节点指标与测试期差距超过 10 个百分点,说明测试集与真实业务偏离,需要补样本再评。

路径要写清升级条件。单节点准确率下降 3 个点、串联结果下降 5 个点、新增票据版式三类情况,都应触发重测。升级条件写进流程,比每次讨论要不要重测更省时间。

路径要与采购节奏配合。系统续费、扩容、换版的节点,通常也是重新评估的时点。把测试排在这些时点之前,结论能直接影响决策;排在其后,只能做事后说明。

图:不同单据量级企业的节点测试范围与样本量选择
图:不同单据量级企业的节点测试范围与样本量选择

结语

七个 Agent 的测试难点在拆解与口径,不在跑数。链路拆清楚,每个节点知道自己该对什么负责;口径定清楚,指标之间才能互相解释。两件事做到,测试结果就能直接指导规则补哪里、样本补哪类,而不是停在给出一个总分。

推进节奏建议是链路拆解五天、指标定义三天、测试集构建两周、节点测试两周、串联测试一周,合计六周左右。第一轮投入约 30 人天,之后每季度重测一次约 5 人天。测试集与指标表要当作资产维护,它们的价值随使用次数增长。

想要一份可直接套用的七节点指标表与测试集模板,可向合思索取。

留言板
收到留言,我们会尽快安排时间与您联系。
未来财务用合思,让有限更有效

首页

售前电话

在线咨询

免费试用