企业 RAG 落地：为什么知识库问答会「答非所问」

一句话结论

企业 RAG「答非所问」，原因通常不在模型，而在工程：切分没按问答单元、检索只用向量、缺少「查不到」出口、权限没进检索层、没有评测集。这五项修完，可用性会有量级变化。

一、文档没有按「问答单元」切分

直接按固定字数切块（chunk），会把一个完整答案切成两半。正确做法：按文档结构（章节、条款、表格）切分，每个块自带标题上下文。

合同、SOP、制度类文档尤其要按条款切——AI 回答时能引用「第 3.2 条」比引用「某段话」可信得多。

二、检索只用了向量相似度

纯向量检索对「编号、型号、专有名词」类查询很弱。工程上应做混合检索：向量 + 关键词（BM25），再按业务规则重排。

制造业客户问「XX 型号参数」，关键词命中最重要；语义问法（「这个流程怎么走」）才靠向量。两类都要，不能二选一。

三、没有「查不到」的出口

RAG 系统必须允许回答「资料里没有」。缺少这条出口，模型会硬编，用户信任一次崩塌就很难恢复。

同时要把「查不到的问题」记录下来反哺知识库——这是知识库运营最有价值的数据，也是下一轮补文档的输入。

四、权限没有进检索层

企业知识库有密级。如果检索层不做权限过滤，A 部门的人能问出 B 部门的合同条款——这是合规事故。

权限过滤必须在检索阶段做（先按用户权限过滤候选块），不是在生成阶段用提示词约束。后者只是祈祷模型听话。

五、评测集缺失

没有评测集就无法判断改动是变好还是变坏。上线前从真实业务问题里抽 50–100 条做问答对，每次改切分/模型/参数都跑一遍。

这是 RAG 项目能持续迭代的前提：没有它，所谓「优化」全靠感觉。

排障顺序（按投入产出比）