【原】什么是RAG？大模型和RAG有什么關系？

寫在前面

在講RAG之前，我們先說一個大模型的普遍現象，大家應該都用過大模型了，比如 ChatGPT、DeepSeek、豆包、文心一言等等…

那么大家在用的時候其實會發現，有時候大模型會亂回答，一本正經地胡說八道，語義不同，前言不搭后語。

舉個例子：你問大模型，美國成立時間。大模型可能會回答：美國成立在1997年，距離現在已有400年的歷史…

這種現象叫hallucination，幻覺。大模型本質的就是不斷的預測下一個生成的文字應該是什么，而選擇預測概率中最大的一個。

產生幻覺的原因有很多，比如訓練大模型本身的數據問題、過擬合、微調引起的知識喪失、推理機制的不完善等等…

而我們要說的RAG就是為了降低大模型出現幻覺的概率，下面開始我們今天的主題。

RAG簡介

RAG（Retrieval-Augmented Generation，檢索增強生成）是一種結合信息檢索與文本生成的技術，旨在提升大語言模型在回答專業問題時的準確性和可靠性。

?核心原理??為 檢索 + 生成 兩階段流程 ：

• ?檢索階段?：將用戶的問題轉化為向量，從外部知識庫或私有文檔中(向量數據庫)快速檢索相關片段。
• ?生成階段?：將檢索到的信息輸入大模型，生成結合上下文的具體回答?。

這樣說可能比較生硬，打個比方：LLM在考試的時候面對陌生的領域，只會寫一個解字（因為LLM也只是局限于特定的數據集進行訓練），然后就準備放飛自我了，而此時RAG給了億些提示，讓LLM懂了開始往這個提示的方向做，最終考試的正確率從60%到了90%！

簡單來說就是大家的開卷考試?。∧敲磫栴}來了，LLM開卷考試的話，這個卷是啥呢？這里就涉及到向量數據庫了。

為什么是向量數據庫？傳統數據庫為啥不行？

向量數據庫

向量數據庫是通過存儲文本的向量化表示，支持基于語義相似度的快速檢索， 解決了傳統關鍵詞匹配無法捕捉上下文關聯的問題?。

如果使用傳統數據庫（如MySQL）結合關鍵詞檢索，但無法實現語義理解，可能導致漏檢或誤檢?。 舉個例子，同一個query進行搜索：“2024年騰訊的技術創新”。

• 向量數據庫能匹配到語義相近但未包含關鍵詞“騰訊”的文檔（如“WXG的研發進展”）
• 傳統數據庫只能匹配到包含關鍵詞的

那向量數據庫是怎么知道語義相似的？

我們先明白向量數據庫存儲的是向量，不是文本，文本是大家能看懂的文字，而向量是一串浮點型數據。那么當所有的文本都成了浮點型數據后，計算機可以通過數學公式（比如余弦相似度），量化語義相似性。傳統數據庫用原始文本檢索，則無法處理同義詞、多義詞、語境差異等語義問題（例如“蘋果”可能指水果或公司）?，所以很多傳統搜索都會進行query改寫這一步，來讓搜索的輸入query更精確。當然不僅僅是文本，萬物皆可embedding，圖片、videos、音頻等等…

RAG 過程

回到最開頭的例子：

1. 當用戶對大模型提問，"美國的成立時間"
2. 此時會通過embeding模型將文本轉成向量
3. 再到向量數據庫中搜索語言相近的內容
4. 向量數據庫會給出一個TopK，例如 Top100
5. 接著在進行過重排序模型，再篩選出Top N，例如 Top10
6. 將搜索到的內容和用戶所搜索的query詞"美國的成立時間"整個成一個prompt一起給LLM
7. LLM基于這些輸入內容和自身內容進行輸出。

這樣就可以有效的控制大模型輸出盡可能的相關并且語義相通的內容。

那么向量數據庫如何構造呢？其實很簡單:

1. 將文章進行分片成多組chunk，也就是大量文本分解為較小段
2. 進行向量化
3. 存到向量數據庫

那這里為什么要進行chunking呢？

chunking是為了把相同語義的 token 聚集在一起，不同語義的 token 互相分開，在長文檔中各個片段的語義可能存在較大差異，如果將整個文檔作為一個整體進行知識檢索，會導致語義雜揉，影響檢索效果。 將長文檔切分成多個小塊，可以使得每個小塊內部表意一致，塊之間表意存在多樣性，從而更充分地發揮知識檢索的作用。

所以如果我們的塊太小會導致錯過真正的相關內容，太大則可能導致搜索結果不準確

參考

[1] https://aws.amazon.com/what-is/retrieval-augmented-generation/ 

[2] https://blog.csdn.net/2301_78285120/article/details/144360003