30 分钟

实战专项

RAG 检索增强生成

让 AI 基于你的私有知识回答问题

理解 RAG 的概念和解决的问题
掌握文档切分与向量化的原理
理解相似度检索机制
实现一个简单的 RAG 问答系统

RAG：让 AI 基于你的知识回答

大模型不知道你公司的内部文档、产品手册、最新数据。RAG就是先「查资料」再回答，让AI成为你知识库的专家。

ℹ️为什么需要 RAG？

私有数据：AI 没读过你的内部文档；实时数据：AI 训练数据有截止日期；减少幻觉：基于真实文档回答，可溯源；成本低：比微调模型便宜得多。

RAG 的工作流程

阶段一：索引（离线准备）

=== 索引阶段 ===加载文档（PDF/Word/网页）切分成小块（200-500字）用 Embedding 模型转成向量存入向量数据库阶段二：查询（在线问答）=== 查询阶段 ===用户提问 → 转成向量检索最相似的文档块文档块 + 问题发给 AIAI 基于文档回答

文档切分

示例代码（可运行）

Python 0%

1def simple_chunk(text, chunk_size=100, overlap=20):

2 """简单文本切分：按字符数切，带重叠"""

3 chunks = []

4 start = 0

5 while start < len(text):

6 end = start + chunk_size

7 chunks.append(text[start:end])

8 start = end - overlap

9 return chunks

11doc = """Python 是通用编程语言，由 Guido 于1991年发布。

12Python 以简洁语法著称，用于 Web、数据分析、AI 等领域。

13Python 3.12 引入了更快的错误消息。

14在 AI 领域，Python 是主流语言，有 PyTorch 等框架。"""

16chunks = simple_chunk(doc, 60, 10)

17print(f"切分成 {len(chunks)} 块")

18for i, c in enumerate(chunks):

19 print(f"块{i+1}: {c.strip()[:50]}")

💡切分策略

切太大→检索不精准；切太小→丢失上下文。经验值：200-500 字符，重叠 10-20%。更好的做法是按语义切分（段落/标题）。

向量相似度检索（简化版）

示例代码（可运行）

Python 0%

1import re

3def text_to_vector(text):

4 """极简向量化：英文按空格分词 + 中文按字分词"""

5 text = text.lower()

6 tokens = set()

7 # 英文单词

8 for w in re.findall(r"[a-z0-9]+", text):

9 tokens.add(w)

10 # 中文字符（单字 + 相邻二字组合）

11 chars = re.findall(r"[\u4e00-\u9fff]", text)

12 tokens.update(chars)

13 for i in range(len(chars) - 1):

14 tokens.add(chars[i] + chars[i+1])

15 return tokens

17def jaccard(a, b):

18 """Jaccard 相似度：交集/并集"""

19 if not a or not b: return 0

20 return len(a & b) / len(a | b)

22docs = [

23 "Python 由 Guido 于1991年发布",

24 "Python 用于 Web 开发，有 Django 和 Flask",

25 "Python 是 AI 主流语言，有人工智能框架 PyTorch",

26]

28def search(query, docs, top_k=2):

29 qv = text_to_vector(query)

30 scores = [(jaccard(qv, text_to_vector(d)), i, d) for i, d in enumerate(docs)]

31 scores.sort(reverse=True)

32 return [(d, s) for s, i, d in scores[:top_k] if s > 0]

34results = search("Python 人工智能", docs)

35for doc, score in results:

36 print(f"[{score:.2f}] {doc}")

完整 RAG 问答

示例代码（可运行）

Python 0%

1import re

3def text_to_vector(text):

4 """极简向量化（前置知识，上一节已实现，这里内联保证可独立运行）"""

5 chars = re.findall(r"[一-鿿]", text.lower())

6 tokens = set(re.findall(r"[a-z0-9]+", text.lower())) | set(chars)

7 for i in range(len(chars) - 1):

8 tokens.add(chars[i] + chars[i+1])

9 return tokens

11def jaccard(a, b):

12 return len(a & b) / len(a | b) if a and b else 0

14docs = [

15 "Python 由 Guido 于1991年发布",

16 "Python 用于 Web 开发，有 Django 和 Flask",

17 "Python 是 AI 主流语言，有人工智能框架 PyTorch",

18]

20class SimpleRAG:

21 def __init__(self, documents):

22 self.docs = documents

23 self.vecs = [text_to_vector(d) for d in documents]

25 def retrieve(self, query, top_k=2):

26 qv = text_to_vector(query)

27 scores = [(jaccard(qv, dv), i) for i, dv in enumerate(self.vecs)]

28 scores.sort(reverse=True)

29 return [(self.docs[i], s) for s, i in scores[:top_k] if s > 0]

31 def answer(self, query):

32 print(f"问题: {query}")

33 relevant = self.retrieve(query)

34 if not relevant:

35 return "知识库中没有相关信息。"

36 print("检索到:")

37 for doc, score in relevant:

38 print(f" [{score:.2f}] {doc}")

39 answer = f"根据资料，{relevant[0][0]}"

40 print(f"回答: {answer}")

42rag = SimpleRAG(docs)

43rag.answer("Python 能做人工智能吗？")

🐍资深工程师经验谈

工业级 RAG 关键优化：切分质量比模型更重要；Embedding 模型选择很关键，中文用 bge-large-zh；混合检索（向量+关键词 BM25）优于纯向量；重排序（Reranker）二次排序提升精度；检索结果带元数据（来源、页码）；定期更新索引。RAG 效果很大程度上取决于数据处理质量。

资深工程师加餐

底层原理 · 大厂视角 · 工程经验，点卡片展开

大模型逐 token 生成，若等全部生成再返回，用户要盯着空白等好几秒；用 SSE（Server-Sent Events）或分块流式传输，模型每产出一点就推给前端，体验上就是「边想边打」。工程要点：前端要处理中途断流与重试、收到完整结束标记再收尾、流式期间禁用重复发送；后端要在客户端断开时及时取消上游请求，否则会白白烧完整个生成的 token 费用。

挑战任务

RAG 问答系统

简单+50 XP

构建知识库问答

RAG 问答系统

Python 0%

2 个测试用例

课后作业

构建知识库问答

中等+20 XP

创建 SimpleRAG 包含至少 5 条 Python 知识点，测试 3 个问题。

构建知识库问答

Python 0%

1 个测试用例