RAG 学习笔记:知乎《一篇吃透 RAG》要点整理 + 自己的实践对照
最近在研究 RAG,看到知乎上慕容千语的一篇《必收藏!一篇吃透 RAG 到底是什么》,写得挺系统。这篇是我的学习笔记:整理原文核心要点,并对照自己博客 AI 客服插件的实践做些补充。原文版权归原作者所有,建议点击链接读原文。
一、为什么需要 RAG
原文的逻辑起点是主流大模型的短板:知识有截止日期、不了解私有数据、会"一本正经地胡说八道"。解决思路是给大模型一本"课外书"——回答前先翻资料,再基于真实资料生成答案。
这个"大模型 + 课外书"的组合,就是 RAG(Retrieval-Augmented Generation,检索增强生成)。它不是一款新 AI,而是给现有 AI 装的"外接知识库"。
原文用智能客服举例:没有 RAG 的客服 AI 遇到"新品功能操作、售后退款时效、区域物流政策"要么答非所问要么给过时答案;接入 RAG 后,知识库实时同步企业手册、检索时精准定位产品保修条款、回答时还能标注来源——回答准确率能提升 30% 以上。
我的对照:我的博客 AI 客服就是最简化版的这个场景——知识库是博客文章本身,检索召回相关段落,回答附带文章链接。之前它把文章发布日期说错,本质就是"知识过时/没有资料可依"的最小复现,后来加了"日期必须照抄资料标注"的硬约束才解决。
二、RAG 全流程的两个阶段
原文把 RAG 拆成两个阶段:数据索引(离线提前做)和检索与生成(在线实时做)。
第一阶段:数据索引
- 数据收集:从文档、数据库、网页、PDF 等来源收集原始数据——这些是大模型没学过的最新/私有信息
- 数据清洗与分块:清洗去掉噪声(PDF 可能要用 OCR,Word 用 python-docx 解析);分块把长文档切成小的、有意义的文本块——分块好坏直接决定检索效果
- 文本嵌入(Embedding):用预训练的 Embedding 模型把每个文本块转成高维数值向量,捕捉语义。语义相近的文本在空间中距离就近("猫"和"小猫","苹果"和"香蕉")
- 向量存储:向量存进向量数据库,原始文本块存进关系型数据库并与向量关联
我的对照:我的实现里"收集 + 清洗"就是直接读 Typecho 数据库的文章正文,分块按 400 字一块、每篇最多 20 块,用硅基流动的 BAAI/bge-m3 做嵌入(1024 维),向量存自建的 MySQL 表。没有专门的向量数据库——数据量小的时候 MySQL 分页扫描完全够用。
第二阶段:检索与生成
原文列了三种检索方式:
- 关键词检索:基于倒排索引的精确匹配,常用 TF-IDF / BM25。优点是快、对专有名词准;缺点是不懂语义——搜"怎么换货"找不到写"退货流程"的文档
- 密集向量检索:把查询和文档都转向量,算向量距离(如余弦相似度)找最近的文档。优点是语义理解强、跨措辞跨语言都能召回;缺点是计算成本高,对精确术语和冷门实体反而不如关键词准
- 混合检索:两路同时跑,用 RRF(Reciprocal Rank Fusion)等算法融合两份带分列表,再用重排序模型精选——"关键词确保搜得准,向量确保搜得广",是目前高性能 RAG 的首选
我的对照:我的插件正是混合检索——语义向量召回为主、关键词检索补位,语义服务挂了自动降级到关键词。原文这个"两全其美"的说法我有实感:纯向量检索对文章标题这种精确点名经常排错序,后来加了"标题点名重排"才治好。
三、召回率与重排序
召回率衡量检索系统的完整性:库里 100 份相关资料,检索只找回了 83 份有效的,召回率就是 83%。原文给了三个提升手段:
- 优化分块:相邻块留 10%-20% 重叠,防止核心上下文在切割处断开;或用"父子索引"——小块用于检索、大块(父块)喂给大模型,兼顾精度和上下文
- 混合检索:向量 + BM25,RRF 融合
- 查询转换:查询重写(把口语翻译成书面语)、多查询并行(让 LLM 生成 3-5 个同义改写并行检索取并集)
重排序则是最后一道精选:初次检索像从图书馆抱回 50 本相关的书,重排序是翻一遍选出最准的 3 页纸递给大模型——排列顺序直接决定大模型看什么。
我的对照:召回率这块我的简化做法是调阈值——bge-m3 基线分数偏高,0.45 时什么都往回捞,提到 0.6 才干净。查询转换我用了最小版本:识别"最新/最近发布"这类意图时绕过语义检索直接查库,相当于针对特定问题类型的定向改写。
四、小结
原文是一张不错的 RAG 全景图:两阶段(索引 / 检索生成)、三种检索(关键词 / 向量 / 混合)、两个优化点(召回率 / 重排序)。我的 AI 客服插件差不多覆盖了最小闭环:分块 + bge-m3 嵌入 + 混合检索 + 阈值过滤 + 硬约束提示词。对照下来,下一步可以考虑补上原文提到的"分块重叠"和"父子索引"——长文章的上下文断裂问题确实存在。
原文:《必收藏!一篇吃透RAG到底是什么?》 · 作者 慕容千语 · 知乎 · 2026-03-25
https://zhuanlan.zhihu.com/p/2020146942852755666
评论 (0)