RAG 深入原理與實踐：從 Chunking 到 Rerank 的完整指南

RAG 是什麼？

RAG（Retrieval-Augmented Generation）讓 LLM 在回答前先從外部知識庫檢索相關文檔，再基於檢索結果生成答案。這解決了 LLM 的兩個核心問題：

1. 知識截止日期：LLM 只知道訓練數據中的信息
2. 幻覺 (Hallucination)：LLM 可能編造不存在的事實

用戶提問 → Embedding → 向量搜索 → Top-K 文檔 → LLM 生成 → 帶來源的答案

核心組件拆解

1. Embedding 模型選擇

建議：中文為主用 bge-large-zh-v1.5，多語言用 bge-m3，API 方案用 text-embedding-3-small。

# Ollama 本地 Embedding
ollama pull nomic-embed-text
# 或 bge-m3
ollama pull bge-m3

2. Chunking 策略

這是最容易被忽略但最關鍵的環節。錯誤的 Chunking 直接導致檢索失敗。

最佳實踐：

• Chunk size: 256-512 tokens（太小丟失上下文，太大稀釋語義）
• Overlap: 10-20%（確保關鍵信息不被截斷）
• 使用 LangChain 的 RecursiveCharacterTextSplitter

from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    separators=["\n\n", "\n", "。", "，", " ", ""]
)
chunks = splitter.split_text(document)

3. 向量數據庫對比

推薦路徑：原型用 Chroma → 生產用 Qdrant Docker → 超大規模用 Milvus。

# Qdrant 快速啟動
docker run -p 6333:6333 qdrant/qdrant

4. Rerank（重排序）

初次向量檢索後，用更精確的 Cross-encoder 對 Top-K 結果重新排序，大幅提升準確度。

為什麼需要 Rerank？ 向量相似度 ≠ 語義相關性。Rerank 用 Cross-encoder 逐對比較 query 和 document，更精準。

# 典型流程
# 1. 向量檢索 → 20 個候選
candidates = vector_db.search(query, top_k=20)

# 2. Rerank → 取前 5
from FlagEmbedding import FlagReranker
reranker = FlagReranker('BAAI/bge-reranker-v2-m3')
scores = reranker.compute_score([[query, doc] for doc in candidates])
top_5 = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)[:5]

# 3. LLM 生成
answer = llm.generate(query, context=top_5)

完整 RAG Pipeline 代碼

from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.llms import Ollama

# 1. 加載文檔
with open("knowledge_base.txt") as f:
    text = f.read()

# 2. Chunking
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
chunks = splitter.split_text(text)

# 3. Embedding + 存入向量庫
embeddings = OllamaEmbeddings(model="bge-m3")
vectorstore = Chroma.from_texts(chunks, embeddings)

# 4. 檢索
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})
docs = retriever.get_relevant_documents("什麼是 RAG？")

# 5. 生成
llm = Ollama(model="qwen2.5:7b")
context = "\n".join([d.page_content for d in docs])
answer = llm.invoke(f"基於以下文檔回答問題：\n{context}\n\n問題：什麼是 RAG？")

常見踩坑

推薦閱讀

• LangChain RAG Tutorial
• BGE-M3 論文
• Chunking Strategies-LlamaIndex