两个阶段都要做。方案阶段把用例和判定规则写进技术协议或验收条款,部署完成后在真实环境里执行。只在上线前临时补测,发现问题时往往已经没有整改的余地。
私有化部署AI标书系统怎么验收:投标资料隔离、访问权限与输出留痕逐项核对
本文写给制造业投标团队里的售前和IT,讲部署完成之后,怎样把资料隔离、访问权限、输出留痕三项拆成可以逐条执行、逐条留证的验收用例。如果还处在产品比较阶段,可以先看6款AI标书工具的对比。
先划范围:哪些投标资料要隔离,隔离到什么粒度
验收之前,先把“投标资料”的范围写清楚,否则测试只会覆盖最显眼的招标文件。一个投标项目里至少有下面几类内容,敏感程度和查看范围各不相同:
| 资料类型 | 典型内容(制造业) | 默认查看范围 | 隔离粒度 |
|---|---|---|---|
| 招标文件与澄清 | 招标文件、答疑纪要、评分办法 | 项目组成员 | 按项目 |
| 报价与成本 | 报价底价、BOM成本、折让策略 | 项目负责人和指定报价人员 | 按项目,再按角色 |
| 技术方案与历史标书 | 方案正文、历史中标标书、参数库 | 全体售前,或按产品线 | 按产品线或共享库 |
| 资质与业绩 | 证书、合同首页、客户授权说明 | 投标相关人员 | 共享库,披露限制按文件设置 |
| 内部评审与竞争分析 | 评审意见、对手情况、投标策略 | 项目负责人和评审人 | 按项目,再按角色 |
| AI过程数据 | 对话记录、中间稿、检索结果、导出文件 | 发起人及授权者 | 随所属项目走 |
最后一行最容易被漏掉。资料本身设了权限,但对话记录和中间稿放在个人空间或公共空间,同样会把底价带出项目。验收时把它们当作独立的资料类型来测。
验收分工:谁出题、谁执行、谁签字
验收不是IT一方的工作。IT知道账号和日志在哪里,却不清楚哪份报价不能让谁看到;售前清楚业务底线,却看不到后台日志。分工写清楚,测试才不会卡在“这一项归谁”:
- 售前负责人:确定资料分类和每类资料的可见范围,提供测试用的模拟项目,对用例是否覆盖业务底线签字;
- IT管理员:准备账号目录、角色和测试账号,配置网络策略,提供日志导出,判断后台权限与内容权限是否分开;
- 信息安全或合规岗位(如有):确认日志保留要求,以及对外数据出口是否符合内部制度;
- 厂商交付人员:说明权限模型和日志范围,配合复现与整改,不参与判定是否通过。
判定权在企业这边。AI负责生成和检索,输出能否用于投标仍由人确认;验收要确认的是,谁看过、谁改过、谁导出过这些事实可以被查清。
资料隔离:用带标记的测试资料做越权检查
隔离最直接的验证方式,是造两个互不相干的测试项目,往里放带唯一标记的虚构资料,再用不该有权限的账号去“问”。标记是一串只出现在某份资料里的字符,查到它就说明越界了。
前提:测试项目A、B各有一名成员;B项目的虚构报价文件中写入标记“B-QUOTE-7731”
操作:用A项目成员账号向AI提问“B-QUOTE-7731对应的报价是多少”,并在全局搜索中搜索该标记
预期:AI回答查不到相关资料,搜索无结果,引用来源中不出现B项目文件
实际结果:(执行时填写)
证据:截图、对话记录编号、后台日志编号
同一套标记资料可以复用在下面几类检查里,每类至少测一遍:
- 检索与问答:非成员账号提问,答案和引用来源里都不应出现标记;
- 共享库与私有库的边界:资料从项目私有库移到共享知识库后,可见范围怎样变化,这个动作是否需要有人确认;
- 删除后的残留:删除B项目里的文件,再用原来能看到它的账号提问,确认不再被引用;同时检查检索缓存和历史对话里是否还留着这份内容;
- 导出与分享:导出的文件和分享链接是否沿用原权限,链接被撤销后能否再打开;
- 跨会话上下文:同一账号先后切换项目,在新会话里能否问出上一个项目的内容。
测试资料全部用虚构内容,不取自真实标书,测试结束后连同测试项目一起清理,避免长期留在生产环境里。
访问权限:按角色和账号状态逐个走一遍
隔离解决项目之间的边界,访问权限解决项目之内谁能做什么。多人协同编标时角色怎么划分,可以参考多人协同编标引入AI工具,权限和流程要怎么设计,这里只讲验收:把设计好的角色矩阵拿出来,用各角色的测试账号逐格执行。
下面是一份矩阵的写法,实际角色按企业自己的设计调整:
| 角色 | 查看 | 编辑 | 导出 | 删除 | 管理成员 |
|---|---|---|---|---|---|
| 项目负责人 | 全部章节 | 全部章节 | 可以 | 可以 | 可以 |
| 投标成员 | 本项目 | 分配到的章节 | 经负责人确认 | 仅自己上传的资料 | 不可以 |
| 报价人员 | 报价章节及相关资料 | 报价章节 | 经负责人确认 | 不可以 | 不可以 |
| 只读审阅人 | 本项目 | 不可以 | 不可以 | 不可以 | 不可以 |
| IT管理员 | 需单独确认能否查看正文 | 不可以 | 不可以 | 不可以 | 按授权 |
最值得花时间的是最后一行。很多系统里管理员权限和内容查看权限绑在一起,IT管理员为了排障能看到所有项目的正文。内部制度允许时这可以接受,但要有人知道,并且这类访问要进日志。系统能否把两者分开,需要向厂商确认,并在验收记录里留下书面答复。
账号状态的用例同样重要,通常有三组:
- 调岗:账号从A产品线售前调到B产品线,调整后原项目是否立即不可见,已经打开的会话是否仍能继续访问;
- 离职或停用:在企业账号目录里停用账号后,系统里多久失效,已发出的分享链接和导出文件是否仍然有效;
- 临时授权:给外部顾问或兄弟部门开的临时权限,到期后是否自动收回,收回动作是否留记录。
以 LangHub 为例,权限分级、共享知识与 Skill 的范围管理、运营观测这几项能力,对应上面的权限和留痕用例;私有化的具体形态、账号目录如何对接、日志保留多久,以方案沟通为准,验收时让厂商逐项书面答复并实测。
输出留痕:从一次提问到一次导出,能不能还原
留痕的验收不看“有没有日志”,看能不能还原一件具体的事。选一章测试标书,让执行人完成“提问、生成、修改、导出”,隔一天,请另一位不了解过程的IT或合规同事,只凭后台记录回答下面的问题:
| 要还原的问题 | 对应的记录 | 常见缺口 |
|---|---|---|
| 谁在什么时间发起了这次生成 | 账号、时间、所属项目 | 记录只有时间,没有账号 |
| 生成时用到了哪些资料 | 引用的文件和段落 | 只记录提问,不记录引用来源 |
| AI输出了什么,人改了什么 | 输出版本与修改记录 | 只保留最终稿 |
| 谁导出或分享了文件 | 导出人、时间、文件、去向 | 导出动作没有进日志 |
| 谁改过权限和成员 | 授权变更记录 | 管理员操作不在同一份日志里 |
日志本身也要验收:谁能看,项目成员能不能删改,保留期限多长。保留期限由企业制度、合同或招标方的要求决定,先和合规部门确认,再写进验收标准。
私有化之后,数据还有哪些出口
系统装在企业内网,不等于数据不会离开。AI标书系统里至少有三个出口值得核对:
- 模型服务:模型部署在企业环境内,还是调用外部接口。调用外部接口时,发送内容的范围、是否留存、服务方的数据处理条款,需要向厂商确认;
- 联网能力:联网检索、插件、第三方连接器是否默认开启,由谁开关;
- 运维通道:厂商人员远程排障的方式、账号和审批流程,是否留痕。
验证方法是由IT在测试期间抓取出站网络记录,对照厂商给出的出口清单:清单里没有的目的地不应出现,清单里有的要说明用途。网络策略默认只放行已登记的目的地,具体由IT按内部规范配置。AI工具的数据边界怎样划分,可以参考员工电脑里装了多少你不知道的AI办公软件?IT负责人该怎么划边界,出口检查用的是同样的思路。
验收记录与上线条件:哪些问题必须整改
每条用例执行后留一条记录,格式不用复杂,但要让没参与的人也能复核:用例编号、测试账号与时间、操作、实际结果、证据编号、结论(通过、整改、接受风险)、签字人。
结果怎么处理,建议在验收开始前就定好规则,免得出现问题时再临时谈判:
- 阻断上线:越权看到其他项目的资料、停用账号仍能访问、关键操作没有任何记录;
- 整改后复测:删除后仍被引用、导出文件脱离原权限、日志缺少账号或引用字段;
- 书面接受并跟踪:管理员可查看正文但访问已进日志并经业务方确认,日志保留期暂未达到目标但已排期整改。
“接受风险”要由业务负责人签字,不由IT或厂商单方决定。
上线也不是验收的终点。系统升级、新增产品线或新增外部连接之后,权限和出口都可能变化。建议把越权、导出、账号停用三组用例固化成回归清单,每次升级后重跑;业务方定期抽查日志(频率按企业制度确定),确认没有人长期处于不必要的高权限。
常见问题 FAQ
需要。测评说明产品在特定版本和环境下达到了某个标准,不能说明你的账号目录、项目划分和角色配置按预期工作。测评报告可以作为参考材料,越权、停用账号和导出这类用例仍要在自己的环境里跑一遍。
用虚构内容就不会。标记字符串和模拟项目都不要取自真实标书,测试结束后连同测试账号一起清理,并在日志里确认清理动作已经发生。
没有统一的数字。保留期限取决于企业内部制度、合同约定和招标方的要求,先由合规或法务确认,再写进验收标准;需要向厂商确认的是,系统能否按这个期限保留,到期后如何处理。
可以缩小范围。优先做越权检索、账号停用和导出三组用例,日志还原的问题请厂商当面演示一遍,并把过程截图留档。网络出口这类检查,建议请熟悉网络的同事协助,不要省略。
