作为第一遍筛查靠谱,作为最终结论不靠谱。靠谱的前提是每条结论附原文和位置,能被人快速核对;不靠谱的地方在于漏报不会自己暴露,且误报也会说得很肯定。所以更合适的用法是让AI缩小需要人看的范围,而不是代替人的确认。
AI标书审核准不准?查出的问题未必都对,没查出的更要留心
所以问AI审核准不准,需要先拆开。准确可以指两件事:报出来的问题有多少是真的,真有的问题又有多少被报了出来。前者的错叫误报,后者的错叫漏报,两者的成因不同,对业务的影响也不同。
提交前审核本身分合规、查重、格式三类,各自的判据和适用的检测方法,见提交前用AI审核标书:合规、查重、格式三类问题怎么分开查。本文只解释一件事:基于阅读和比对的AI审核,为什么会出现误报和漏报,不同类型的问题可信度为什么不一样,以及这对人工复核的范围意味着什么。
AI审核标书准确性要拆成两个问题:报出来的对不对,该报的报没报
误报多的时候,审核人的感受是“被噪音拖累”:每一条都要翻原文确认,省下的时间被核对吃掉。漏报多的时候,感受反而是“结果很干净”,直到提交之后才发现问题。
两者的代价不对称。误报的代价是时间,一眼可见;漏报的代价是风险,要靠别的渠道才暴露。因此评估一次AI审核,只看“报了多少条”或者“有没有明显错误”都不够,至少要同时问:报出的条目里有多少回原文能核实,已知存在的问题里有多少被报出。
误报从哪来:四种常见机制
文件被读歪了。 标书里的表格、合并单元格、分栏排版,在转成可处理的文字时可能错位:本来属于同一行的“参数”和“数值”被拆开,或者页眉页脚的文字混进正文。后面的比对再严谨,输入已经是错的,输出自然出现“不一致”,而原文里并不存在。
把常识当成了要求。 模型对标书有大量的一般性认识,没有明确限定依据时,会倾向把“通常应当具备什么”当作“本项目要求具备什么”,甚至引用一个看起来合理但招标文件里没有的条款。这类误报读起来最像真的,因为说法本身是对的,只是不属于这份文件。
规则被字面执行。 指令写“质保期应不少于36个月”,投标文件写“整机质保三年”,人一眼能看出一致,字面比对可能判成“未找到36个月”。数字、单位、同义写法越多,这类误报越多。
要求本身有歧义。 招标文件的表述前后不一、一条要求有两种合理理解时,不论人还是模型,都无法给出唯一答案。如果指令没有要求“有歧义就标待确认”,模型往往会选一种理解并给出确定语气的结论。
这四种机制的共同点是:它们都留下了可核对的痕迹,条目里的原文节选对不上,或者引用的条款找不到。所以误报虽然烦,但可以通过要求每条结论附原文来识别。指令怎么写才能留下这些痕迹,见AI标书审核提示词怎么写?别只说帮我检查,附可复用模板。
漏报从哪来:没有报错,所以更难发现
漏报没有条目可供核对,只能靠对照已知情况才发现。常见的机制有五种:
- 内容根本没被读到。 扫描件、图片里的文字、文本框、印章和手写批注,是否能被读取取决于工具。读不到的内容不会出现在报告中,看上去像是“没有问题”。
- 长文件被切开处理。 文件超出一次处理的范围时需要分段,分段之后,一条要求引用另一章的内容(“按第二章第3条执行”),只看到其中一端的子任务无法判断;合并时,整段被跳过也不容易察觉。
- 没写进指令的规则不会被查。 模型按指令做事。指令只要求核对资格条款,评分办法里隐藏的实质性要求就不会被检查。
- 只给面面俱到的建议。 指令不够具体时,模型倾向写一份覆盖面广、每点都轻描淡写的回答,真正的问题可能被稀释在泛泛的“建议完善”里。
- 依据材料本身不全。 企业没有提供业绩合同,AI无法判断“有没有合同”以外的事;它可能把缺口当作无法判断,也可能默认存在。前一种至少还能提醒人去补,后一种就是漏报。
漏报比误报危险,还因为它会随着“结果越来越干净”而被强化:审核人逐渐信任报告,核对的投入减少,漏掉的东西更没人看。
同一份标书跑两次,结果为什么不完全一样
生成式模型的输出带有随机性,加上长文件的分段与合并方式、指令措辞的细微变化,同一份文件两次审核报出的条目可能有出入。这本身不一定说明某次错了:两次都报出的条目,可信度通常更高;只出现一次的,更需要回原文核对。
这也解释了为什么只跑一次得到的“准确”或“不准”,都不足以下结论。需要多次、在同一份答案已知的文件上看稳定性,具体做法在提示词一文的“试跑”部分有展开。
看到一个“准确率”数字,先问这五件事
厂商或文章给出“准确率达XX%”时,数字本身信息很少,下面五项决定它能不能用于你的情况:
| 要问的 | 为什么重要 |
|---|---|
| 统计的是误报还是漏报,还是两者的综合 | 综合数字会掩盖漏报 |
| 测试的是哪类问题 | 格式编号这类确定性核对和响应是否充分这类语义判断,难度差别很大 |
| 测试用的材料是什么类型 | 电子版文字稿与含大量扫描件的文件,结果没有可比性 |
| 标准答案由谁定 | 没有人工逐条确认过的答案,“准确”无从谈起 |
| 是否在同类招标文件上测过 | 工程、货物、服务类的招标要求写法差异较大 |
这些信息问不出来,数字就不宜作为选型依据。不同工具在检测能力上的区别,怎样结合自己的材料验证,在AI标书审核工具怎么选:查重、内容与格式检测的能力差异怎么看里按能力维度列了出来。
不同类型的问题,可信度并不一样
由于机制不同,AI审核对不同类型问题的可靠程度有倾向性差异。下表是基于上面机制的分析,不是实测结论,具体到某个工具和某批材料,需要用自己的材料验证:
| 检查类型 | 主要依赖什么 | 可靠性倾向 | 人工复核的重点 |
|---|---|---|---|
| 格式、编号、错别字 | 规则明确、可程序比对 | 较稳定 | 抽查,重点看版式特殊的位置 |
| 同一信息的取值比对 | 提取是否完整、不遗漏位置 | 取决于提取质量 | 回原文核对报出的每一处,并找报告没列的位置 |
| 招标要求是否被响应 | 语义理解与口径 | 容易误报,也会漏掉隐性要求 | 逐条回原文,尤其是判为满足的条目 |
| 资质、证书、扫描件 | 能否读取图片中的文字 | 取决于读图能力和清晰度 | 对照原件,读不清的全部人工看 |
| 是否有竞争力、表述是否专业 | 没有统一对照基准 | 不宜依赖 | 由业务人员判断 |
| 否决项与实质性要求 | 上述几种的综合,后果最重 | 只作辅助线索 | 全部人工确认 |
这张表的排列顺序和错误的后果有关:越往下,判断越依赖语义和上下文,错了之后的代价也越高。内容层面的三种常见问题怎么区分,在标书内容检查到底查什么:漏项、响应不足与前后矛盾的判定口径里有展开,用来判断“这条算不算漏项”时可以参考。
人工复核要覆盖多大范围,看后果而不是看AI的把握
很多人的第一反应是让AI给每条结论打一个“把握程度”,把握高的少看,把握低的多看。这个办法的问题在于,模型对自己结论的把握程度,与结论是否正确之间并没有可靠的对应:误报往往也说得很有把握。
更稳的依据是后果。涉及否决项、资格、报价和签章的条目,无论AI怎么说,都由人确认;影响评分的响应缺口,逐条回原文;一致性问题,核对报出的位置;格式表达类,抽查即可。报告读完之后怎么分级、谁来确认,在AI标书审核报告列了一堆问题,哪些真要改?一文看懂整改优先级里按“不改会怎样”分了四级,可以直接作为复核范围的依据。
AI审核在这个安排里承担的是第一遍筛查和线索整理:把需要人看的地方先圈出来,减少从头通读的时间。它减轻了重复阅读的负担,复核与判断仍然落在熟悉业务的人手里。
这些判断的边界
本文的机制分析基于AI审核的通用工作方式,不针对某一款工具,也没有给出准确率数字:不同工具的读取能力、分段方式和模型差别很大,数字只有在具体材料上测过才有意义。模型和工具也在更新,今天的漏报来源,下个版本可能缓解,也可能出现新的类型,所以“用自己的材料定期复测”比记住任何一组结论都有用。
另一方面,上述误报和漏报都有办法降低:限定依据材料、要求附原文节选、把不确定项标为待确认、分段后回原文核对。这些做法不能保证零错误,但能让错误变得可发现,这是AI审核在业务里可用的前提。
常见问题 FAQ
目前没有一个可以脱离材料的统一排名。工具的表现取决于你的标书类型、文件格式和要检查的问题,公开的准确率数字也往往没有说明统计口径。比较可行的办法是拿一份人工审过的历史标书,在几个候选工具上跑一遍,对比报出和漏掉的问题。选型时还要看哪些能力,可以按检测的类型分别验证。
不能。“没有问题”有三种可能:确实没有,该处没有被读到,或者指令没有要求检查这一类。要求审核结果同时列出已核对的范围和数量,才能区分这三种情况。
误报主要靠限定依据材料、要求附原文节选、把模糊的要求标为待确认;漏报主要靠补全指令里的检查范围、对读不到的内容单独列出、分段处理后回原文抽查。每次人工发现报告里的错误,把原因回写到指令里,下一轮会更好。
不建议。标书的后果由投标团队承担,AI的输出不是合规结论。复核可以随着指令成熟逐步收窄,但否决项、资格、报价和签章相关的条目,建议始终保留人工确认。
