# 向量旁路加关键词检索:动手前要问的问题
Contents
# 为什么「向量旁路加关键词检索」对本地 RAG 很重要
抓住嵌入易漏的精确 ID。检索增强生成通常是团队基于本地模型做的第一个正经项目,因为文档留在内网,也不用微调。它同样是小设计决定大信任的地方。
# 先做好入库
垃圾输入会产出自信的错误答案。在考虑嵌入模型之前:
- 保留结构:PDF 或 Office 文件转换后,标题、表格和列表要还在。
- 每个分块都带元数据:来源文件、章节、版本和文档日期。
- 没有负责人或没有日期的文档拒收,过期政策是负债。
- 保留原始文件,分块器改进后可以重新入库。
# 分块与检索
先用中等分块大小加一定重叠,再用你自己的问题评测,而不是照搬博客参数。中文需要按句子切分的分块器,不能套用英文的空格规则。纯向量检索会漏掉零件号、合同编号、SKU 这类精确标识,所以要在向量库旁边保留关键词索引并合并结果。政策随时间变化时,检索要偏向最新的有效版本。
# 可重复的评测
整理一组真实问题,附上标准答案和应当支撑答案的文档。每次修改分块、嵌入模型或提示词后都跑一遍,同时看答案和检索到的段落。如果正确段落没有被检索出来,提示词再怎么改也没用。
# 运维
- 备份向量库,并实际演练一次恢复。
- 按部门或客户拆分集合,方便执行权限规则。
- 记录每个回答引用了哪些来源。
- 明确助手必须拒答的内容,并公布出来。
# 给试点用户的问题
- 回答引用的是你预期的文档吗?是最新版本吗?
- 有没有遗漏你确定文档里存在的重要信息?
- 该拒答时拒答了吗?该回答时回答了吗?
- 用引用来源核实这个回答花了多长时间?
试点期间用一个简单表单收集这些反馈。反馈中的规律通常指向入库或检索问题,修这些比换模型便宜得多。
想了解更多,可以看看MicroAI One 软件和本地 AI 教程中心。
# 速记要点
- 先限并发,再考虑降量化。
- 每次大版本模型升级后重新检查配置。
- 检索文本和上传文件一律视为不可信。
- 每次请求都记录模型名称和版本。
作者:本地AI 1号网,深圳团队,专注本地大模型软硬件、装机与私有化部署。
End