南京企业知识库 AI 应用开发：权限、检索和引用如何落地

企业知识库 AI 应用的难点不是接入一个模型，而是让回答只基于用户有权访问的资料，并能给出可回查的来源。南京制造和研发团队的文档可能分散在网盘、项目管理工具和纸质扫描件中，版本与权限也不统一。首期应选择一个业务范围和一批高质量资料，先验证检索与引用，再扩大数据量。

先选可评测的问题集

把用户实际会问的问题整理成测试集，覆盖定义、流程、版本差异和找不到答案的情况。每个问题标注期望来源、允许的空答案和错误风险。知识库不应要求模型猜测缺失信息；当资料冲突或过期时，应提示用户查看来源并由负责人维护。

首期功能与数据流

首期可包括文档上传或受控同步、格式解析、分段与元数据、全文和向量检索、权限过滤、答案引用、反馈、版本和删除。权限过滤必须在检索前或检索过程中生效，不能先召回全部资料再靠提示词约束。敏感文档的原文、向量、日志和备份都要纳入数据边界说明。

模型、部署和成本边界

模型可以使用合适的国内或海外服务，也可以评估自部署，关键是明确数据是否出境、调用日志保存多久、失败时如何降级。首期先限制文档类型、文件大小和并发量，记录检索命中、引用覆盖和人工纠错，避免用一个“准确率”数字掩盖不同问题。提示词和模型版本要可追踪，方便回归。

验收与常见风险

验收用测试集检查正确、无答案、权限越界、文档更新、重复资料和恶意提示。常见风险是扫描件 OCR 错误、同名文档覆盖、离职账号仍能查阅、回答没有引用和用户把建议当成事实。高风险业务要明确人工复核，不把 AI 输出当作审批或医疗、法律结论。

FAQ

是否需要微调模型？

多数内部知识问答首期先做好数据、检索和评测，只有稳定场景仍不足时再评估微调。

文档越多越好吗？

不一定。过期、重复和无权限资料会降低可用性，应先治理来源和版本。

能否接入企业微信？

可以评估，但要先确认登录身份、会话数据和权限映射。

实施前的资料治理

先列出文档来源、负责人、版本、敏感等级和失效条件，删除明显重复或过期资料。准备一组包含正确答案、无答案和越权问题的评测集，确定人工复核人。模型、向量库和日志的供应商及存储区域要在数据说明中写清楚。

上线后的质量机制

定期抽查引用是否指向最新版本，记录用户纠错和检索失败，优先修复分段、元数据和权限问题。模型升级必须用固定评测集回归，不能只看几次演示。高风险问题设置人工确认或直接提示用户查阅原文，避免把生成内容当成正式制度。

评估首期是否完成

验收要围绕文档版本、权限、检索、引用和评测集设计可重复任务，而不是把“页面都能打开”当成完成。由知识库管理员、普通成员和复核人员准备脱敏数据，从创建、修改、异常、撤销到查询走一遍，记录操作者、时间、输入和结果。接口场景至少覆盖成功、超时、重复通知、字段缺失和权限失效，现场或运营流程还要保留人工补偿办法。

验收记录包括环境、账号、输入、预期结果、实际结果和问题编号。涉及库存、金额、课时、进度或答案引用时，应使用人工台账或来源文档做交叉核对，确认统计口径一致。权限测试不能只测普通账号，还要验证离职、调岗、外部协作和管理员误操作。

上线后一到两周安排固定复盘，集中看未完成任务、人工补录、错误日志和用户反馈；新增要求先判断是缺陷、规则调整还是新范围，再进入版本计划。这样既能守住首期边界，也能为下一阶段留下可复用的配置和证据。

启动资料与复盘

启动前把现有表格、账号、字段说明、异常记录和责任人名单集中存档，标注来源、更新时间和是否可用于测试。未确认的字段进入待确认清单，由业务负责人给出结论；上线前按同一清单复核备份、日志、权限、导出和回滚。首期运行后固定复盘一次，把人工补录和失败原因转成下一版的明确任务，避免新需求直接打乱当前流程。