知识库不是“把文件喂给 AI”:从个人资料到企业 RAG
鄢卓知识库真正解决的问题
它不是让模型“记住所有文件”,而是在回答前找到正确、最新且有权限使用的证据,并让读者能够回到来源核验。
一、先分清四个容易混淆的概念
概念 | 它负责什么 | 典型例子 |
|---|---|---|
上下文 | 本次对话中临时可见的信息 | 刚上传的一份报告 |
记忆 | 跨会话保留的偏好或历史 | 用户习惯与常用格式 |
知识库 | 可持续检索、更新和引用的资料集合 | 制度、课程、产品文档 |
业务系统 | 提供实时状态和可执行动作 | 库存、订单、工单和权限服务 |
如果资料只使用一次、内容很少且不需要持续更新,直接放进当前上下文通常就够了。只有当内容会反复被问、经常变化、必须引用来源或不同用户能看到不同内容时,才值得建设真正的知识库。
二、RAG 是一条证据流水线
收集与清洗:去重、OCR、识别版本和失效内容。
切分与标注:按语义切块,并保留标题、日期、作者、业务域等元数据。
权限预过滤:先判断用户能否看见,再进入检索与生成。
混合检索与重排:关键词负责精确词,向量负责语义,相互补充。
带证据生成:答案引用具体来源;证据不足时明确说不知道。
评估与反馈:把真实问题、失败类型和内容更新连接成闭环。
三、答案不准时,先判断错在第几层
失败类型 | 常见表现 | 优先处理 |
|---|---|---|
内容缺口 | 库里根本没有答案或只有旧版本 | 补内容、定所有者和更新周期 |
检索失败 | 正确证据存在却没被找到 | 检查切块、关键词、元数据与重排 |
生成失败 | 证据正确但回答歪曲或过度推断 | 约束回答格式、证据边界与拒答 |
权限失败 | 看见不该看见的内容,或误挡合法内容 | 把权限放到检索前,并做专项测试 |
四、一个务实的两周 PoC
选择一个边界清楚、确实反复发生的真实场景。
只纳入 20–50 份与场景高度相关的资料。
人工检查约 30 个切块,先修明显的数据问题。
收集可回答、跨文档、冲突、不可回答和权限受限等测试问题。
先建立简单基线,再一次只改变一个变量。
展示引用,并把真实用户反馈归类到四种失败层。
五、企业场景的几条硬边界
上线前需要明确数据分级、内容所有者与失效时间;权限必须在检索之前生效;对提示注入和数据污染做专门测试;所有关键检索与访问都应可审计;删除、版本更新和索引重建要有可执行流程。
本地部署不等于数据不会外流
要检查完整数据路径:文档解析、向量化、日志、监控、备份、模型调用和人工运维。任何一个环节连接到外部服务,都可能改变安全结论。