lucid.page 向量旁路加关键词检索:动手前要问的问题
Text size
Read time1 min

# 向量旁路加关键词检索:动手前要问的问题

Contents

# 为什么「向量旁路加关键词检索」对本地 RAG 很重要

抓住嵌入易漏的精确 ID。检索增强生成通常是团队基于本地模型做的第一个正经项目,因为文档留在内网,也不用微调。它同样是小设计决定大信任的地方。

# 先做好入库

垃圾输入会产出自信的错误答案。在考虑嵌入模型之前:

# 分块与检索

先用中等分块大小加一定重叠,再用你自己的问题评测,而不是照搬博客参数。中文需要按句子切分的分块器,不能套用英文的空格规则。纯向量检索会漏掉零件号、合同编号、SKU 这类精确标识,所以要在向量库旁边保留关键词索引并合并结果。政策随时间变化时,检索要偏向最新的有效版本。

# 可重复的评测

整理一组真实问题,附上标准答案和应当支撑答案的文档。每次修改分块、嵌入模型或提示词后都跑一遍,同时看答案和检索到的段落。如果正确段落没有被检索出来,提示词再怎么改也没用。

# 运维

# 给试点用户的问题

试点期间用一个简单表单收集这些反馈。反馈中的规律通常指向入库或检索问题,修这些比换模型便宜得多。

想了解更多,可以看看MicroAI One 软件和本地 AI 教程中心。

# 速记要点

作者:本地AI 1号网,深圳团队,专注本地大模型软硬件、装机与私有化部署。

End