首页 Blog AI标书审核准不准?查出的问题未必都对,没查出的更要留心
审核准确性 误报漏报

AI标书审核准不准?查出的问题未必都对,没查出的更要留心

语核科技 语核科技 阅读时间 7 分钟
AI审核结果的四种情形:报对了、漏报、误报、正确地没报,其中漏报不会自己暴露
一份AI审核结果交回来,列了三十多条问题。标书负责人逐条翻原文,发现其中七八条找不到对应的文字,有两条引用的“招标要求”在招标文件里根本不存在;另外有两处他自己早就知道的报价口径不一致,报告里却没有。这是示意场景,但做过AI审核的团队大多见过类似的情况:查出的不全对,对的也不全。

所以问AI审核准不准,需要先拆开。准确可以指两件事:报出来的问题有多少是真的,真有的问题又有多少被报了出来。前者的错叫误报,后者的错叫漏报,两者的成因不同,对业务的影响也不同。

提交前审核本身分合规、查重、格式三类,各自的判据和适用的检测方法,见提交前用AI审核标书:合规、查重、格式三类问题怎么分开查。本文只解释一件事:基于阅读和比对的AI审核,为什么会出现误报和漏报,不同类型的问题可信度为什么不一样,以及这对人工复核的范围意味着什么。

AI审核标书准确性要拆成两个问题:报出来的对不对,该报的报没报

误报多的时候,审核人的感受是“被噪音拖累”:每一条都要翻原文确认,省下的时间被核对吃掉。漏报多的时候,感受反而是“结果很干净”,直到提交之后才发现问题。

两者的代价不对称。误报的代价是时间,一眼可见;漏报的代价是风险,要靠别的渠道才暴露。因此评估一次AI审核,只看“报了多少条”或者“有没有明显错误”都不够,至少要同时问:报出的条目里有多少回原文能核实,已知存在的问题里有多少被报出。

误报从哪来:四种常见机制

文件被读歪了。 标书里的表格、合并单元格、分栏排版,在转成可处理的文字时可能错位:本来属于同一行的“参数”和“数值”被拆开,或者页眉页脚的文字混进正文。后面的比对再严谨,输入已经是错的,输出自然出现“不一致”,而原文里并不存在。

把常识当成了要求。 模型对标书有大量的一般性认识,没有明确限定依据时,会倾向把“通常应当具备什么”当作“本项目要求具备什么”,甚至引用一个看起来合理但招标文件里没有的条款。这类误报读起来最像真的,因为说法本身是对的,只是不属于这份文件。

规则被字面执行。 指令写“质保期应不少于36个月”,投标文件写“整机质保三年”,人一眼能看出一致,字面比对可能判成“未找到36个月”。数字、单位、同义写法越多,这类误报越多。

要求本身有歧义。 招标文件的表述前后不一、一条要求有两种合理理解时,不论人还是模型,都无法给出唯一答案。如果指令没有要求“有歧义就标待确认”,模型往往会选一种理解并给出确定语气的结论。

这四种机制的共同点是:它们都留下了可核对的痕迹,条目里的原文节选对不上,或者引用的条款找不到。所以误报虽然烦,但可以通过要求每条结论附原文来识别。指令怎么写才能留下这些痕迹,见AI标书审核提示词怎么写?别只说帮我检查,附可复用模板。

漏报从哪来:没有报错,所以更难发现

漏报没有条目可供核对,只能靠对照已知情况才发现。常见的机制有五种:

  • 内容根本没被读到。 扫描件、图片里的文字、文本框、印章和手写批注,是否能被读取取决于工具。读不到的内容不会出现在报告中,看上去像是“没有问题”。
  • 长文件被切开处理。 文件超出一次处理的范围时需要分段,分段之后,一条要求引用另一章的内容(“按第二章第3条执行”),只看到其中一端的子任务无法判断;合并时,整段被跳过也不容易察觉。
  • 没写进指令的规则不会被查。 模型按指令做事。指令只要求核对资格条款,评分办法里隐藏的实质性要求就不会被检查。
  • 只给面面俱到的建议。 指令不够具体时,模型倾向写一份覆盖面广、每点都轻描淡写的回答,真正的问题可能被稀释在泛泛的“建议完善”里。
  • 依据材料本身不全。 企业没有提供业绩合同,AI无法判断“有没有合同”以外的事;它可能把缺口当作无法判断,也可能默认存在。前一种至少还能提醒人去补,后一种就是漏报。

漏报比误报危险,还因为它会随着“结果越来越干净”而被强化:审核人逐渐信任报告,核对的投入减少,漏掉的东西更没人看。

漏报的五种成因汇聚为报告看起来很干净,并导致审核人核对投入减少的强化循环
五种漏报成因与它们共同的表象

同一份标书跑两次,结果为什么不完全一样

生成式模型的输出带有随机性,加上长文件的分段与合并方式、指令措辞的细微变化,同一份文件两次审核报出的条目可能有出入。这本身不一定说明某次错了:两次都报出的条目,可信度通常更高;只出现一次的,更需要回原文核对。

这也解释了为什么只跑一次得到的“准确”或“不准”,都不足以下结论。需要多次、在同一份答案已知的文件上看稳定性,具体做法在提示词一文的“试跑”部分有展开。

看到一个“准确率”数字,先问这五件事

厂商或文章给出“准确率达XX%”时,数字本身信息很少,下面五项决定它能不能用于你的情况:

要问的为什么重要
统计的是误报还是漏报,还是两者的综合综合数字会掩盖漏报
测试的是哪类问题格式编号这类确定性核对和响应是否充分这类语义判断,难度差别很大
测试用的材料是什么类型电子版文字稿与含大量扫描件的文件,结果没有可比性
标准答案由谁定没有人工逐条确认过的答案,“准确”无从谈起
是否在同类招标文件上测过工程、货物、服务类的招标要求写法差异较大

这些信息问不出来,数字就不宜作为选型依据。不同工具在检测能力上的区别,怎样结合自己的材料验证,在AI标书审核工具怎么选:查重、内容与格式检测的能力差异怎么看里按能力维度列了出来。

不同类型的问题,可信度并不一样

由于机制不同,AI审核对不同类型问题的可靠程度有倾向性差异。下表是基于上面机制的分析,不是实测结论,具体到某个工具和某批材料,需要用自己的材料验证:

检查类型主要依赖什么可靠性倾向人工复核的重点
格式、编号、错别字规则明确、可程序比对较稳定抽查,重点看版式特殊的位置
同一信息的取值比对提取是否完整、不遗漏位置取决于提取质量回原文核对报出的每一处,并找报告没列的位置
招标要求是否被响应语义理解与口径容易误报,也会漏掉隐性要求逐条回原文,尤其是判为满足的条目
资质、证书、扫描件能否读取图片中的文字取决于读图能力和清晰度对照原件,读不清的全部人工看
是否有竞争力、表述是否专业没有统一对照基准不宜依赖由业务人员判断
否决项与实质性要求上述几种的综合,后果最重只作辅助线索全部人工确认

这张表的排列顺序和错误的后果有关:越往下,判断越依赖语义和上下文,错了之后的代价也越高。内容层面的三种常见问题怎么区分,在标书内容检查到底查什么:漏项、响应不足与前后矛盾的判定口径里有展开,用来判断“这条算不算漏项”时可以参考。

人工复核要覆盖多大范围,看后果而不是看AI的把握

很多人的第一反应是让AI给每条结论打一个“把握程度”,把握高的少看,把握低的多看。这个办法的问题在于,模型对自己结论的把握程度,与结论是否正确之间并没有可靠的对应:误报往往也说得很有把握。

更稳的依据是后果。涉及否决项、资格、报价和签章的条目,无论AI怎么说,都由人确认;影响评分的响应缺口,逐条回原文;一致性问题,核对报出的位置;格式表达类,抽查即可。报告读完之后怎么分级、谁来确认,在AI标书审核报告列了一堆问题,哪些真要改?一文看懂整改优先级里按“不改会怎样”分了四级,可以直接作为复核范围的依据。

AI审核在这个安排里承担的是第一遍筛查和线索整理:把需要人看的地方先圈出来,减少从头通读的时间。它减轻了重复阅读的负担,复核与判断仍然落在熟悉业务的人手里。

人工复核力度按条目后果递增:格式表达抽查,一致性核对位置,响应缺口逐条回原文,否决项全部人工确认
人工复核力度随条目后果递增

这些判断的边界

本文的机制分析基于AI审核的通用工作方式,不针对某一款工具,也没有给出准确率数字:不同工具的读取能力、分段方式和模型差别很大,数字只有在具体材料上测过才有意义。模型和工具也在更新,今天的漏报来源,下个版本可能缓解,也可能出现新的类型,所以“用自己的材料定期复测”比记住任何一组结论都有用。

另一方面,上述误报和漏报都有办法降低:限定依据材料、要求附原文节选、把不确定项标为待确认、分段后回原文核对。这些做法不能保证零错误,但能让错误变得可发现,这是AI审核在业务里可用的前提。

常见问题 FAQ

QAI检查标书靠谱吗
A

作为第一遍筛查靠谱,作为最终结论不靠谱。靠谱的前提是每条结论附原文和位置,能被人快速核对;不靠谱的地方在于漏报不会自己暴露,且误报也会说得很肯定。所以更合适的用法是让AI缩小需要人看的范围,而不是代替人的确认。

Q哪个AI检查标书最准确
A

目前没有一个可以脱离材料的统一排名。工具的表现取决于你的标书类型、文件格式和要检查的问题,公开的准确率数字也往往没有说明统计口径。比较可行的办法是拿一份人工审过的历史标书,在几个候选工具上跑一遍,对比报出和漏掉的问题。选型时还要看哪些能力,可以按检测的类型分别验证。

QAI说没有问题,是不是就可以放心提交
A

不能。“没有问题”有三种可能:确实没有,该处没有被读到,或者指令没有要求检查这一类。要求审核结果同时列出已核对的范围和数量,才能区分这三种情况。

Q怎样减少误报和漏报
A

误报主要靠限定依据材料、要求附原文节选、把模糊的要求标为待确认;漏报主要靠补全指令里的检查范围、对读不到的内容单独列出、分段处理后回原文抽查。每次人工发现报告里的错误,把原因回写到指令里,下一轮会更好。

Q能不能只让AI查,不再安排人工复核
A

不建议。标书的后果由投标团队承担,AI的输出不是合规结论。复核可以随着指令成熟逐步收窄,但否决项、资格、报价和签章相关的条目,建议始终保留人工确认。