什麼是人工智慧中的檢索增強生成（RAG）？

撰寫人

Sarah Chudleigh

研究員兼人工智慧內容主管

摘要

RAG 結合了從可信資料擷取與LLM 生成的功能，可確保 AI 回應的準確性、相關性和基於真實的商業知識。
與純粹的LLMs 不同，RAG 可將答案錨定在特定的文件、資料庫或經核准的內容中，從而減少幻覺。
RAG 支援最新資訊，讓 AI 系統能夠回答有關最近變化或利基主題的問題，超越LLM的靜態訓練資料。
維護 RAG 系統包括保持資料新鮮、監控輸出，以及長期改進檢索方法以獲得最佳效能。

RAG 讓組織將人工智慧投入工作——比傳統風險更低LLM 用法。

隨著越來越多的企業引入人工智慧解決方案，檢索增強生成變得越來越流行。早期的企業聊天機器人遇到了危險的錯誤和幻覺。

RAG 讓公司能夠利用LLMs 同時將生成性產出紮根於其特定的業務知識中。

構建 AI Chatbots

建立自訂的代理聊天機器人

立即開始

什麼是檢索增強生成？

人工智慧中的檢索增強生成 (RAG) 是一種結合了 a) 檢索相關外部資訊和 b) AI 生成回應的技術，可提高準確性和相關性。

而不是依賴大型語言模型的生成（ LLMs ），RAG 模型的回應由 AI 代理建構者指定的知識庫提供信息，例如公司的網頁或人力資源政策文件。

RAG 的運作主要分為兩個步驟：

1. 檢索

此模型從結構化或非結構化來源（例如資料庫、PDF、HTML 文件或其他文件）搜尋並檢索相關資料。這些來源可以是結構化的（例如表格）或非結構化的（例如批准的網站）。

2. 一代

檢索後，資訊被輸入LLM 。這LLM 使用這些資訊產生自然語言回應，將批准的數據與其自身的語言功能相結合，以創建準確的、類似人類的品牌回應。

RAG 使用範例

RAG 的意義何在？它允許組織提供相關、資訊豐富且準確的輸出。

RAG 是降低不準確風險的直接方法LLM 輸出或幻覺。

範例1：律師事務所

律師事務所可能會在 AI 系統中使用 RAG 來：

在研究過程中從文件資料庫中搜尋相關判例法、先例和法律裁決。
透過從案件卷宗和過去的裁決中提取關鍵事實來產生案件摘要。
自動向員工提供相關法規更新。

範例 2：房地產中介

房地產仲介可能會在 AI 系統中使用 RAG 來：

總結財產交易歷史和社區犯罪統計數據。
引用當地房產法律法規，回答有關房產交易的法律問題。
透過從房產狀況報告、市場趨勢和歷史銷售中提取數據來簡化評估流程。

範例3：電子商務商店

電子商務可能會在 AI 系統中使用 RAG 來：

從公司資料庫收集產品資訊、規格和評論，以提供個人化產品推薦。
檢索訂單歷史記錄以產生適合使用者偏好的客製化購物體驗。
透過檢索客戶細分資料並將其與最近的購買模式結合，產生有針對性的電子郵件活動。

RAG 的優點

任何查詢過ChatGPT或 Claude 的人都知道， LLMs 內建最低限度的保障措施。

如果沒有適當的監督，它們可能會產生不準確甚至有害的信息，從而使它們在實際部署中變得不可靠。

RAG 提供了一種解決方案，將回應基於可信任的最新資料來源，從而顯著降低這些風險。

防止產生幻覺和錯誤

傳統的語言模型經常產生幻覺——聽起來令人信服但實際上不正確或無關的反應。

RAG 透過將反應建立在可靠且高度相關的資料來源中來減輕幻覺。

檢索步驟確保模型參考準確的最新訊息，從而顯著減少出現幻覺的機會並提高可靠性。

檢索最新資訊

儘管LLMs 是執行許多任務的強大工具，但它們無法提供有關稀有或最新資訊的準確資訊 - 包括客製化的商業知識。

但 RAG 允許模型從任何來源獲取即時信息，包括網站、表格或資料庫。

這確保了只要更新事實來源，模型就會以最新資訊回應。

在複雜的環境中進行溝通

傳統LLM 使用的另一個弱點是上下文資訊的遺失。

LLMs 在冗長或複雜的對話中很難維持上下文。這通常會導致回應不完整或支離破碎。

但 RAG 模型可以透過直接從語義連結的資料來源提取資訊來實現上下文感知。

透過專門針對用戶需求的額外資訊（例如配備產品目錄的銷售聊天機器人），RAG 允許人工智慧代理參與上下文對話。

RAG 如何運作？

1. 文件上傳

首先，建構者將文件或文件上傳到其 AI 代理的庫。該文件可以是網頁、PDF 或其他支援的格式，構成人工智慧知識庫的一部分。

2. 文件轉換

由於文件類型繁多——PDF、網頁等——系統將這些文件轉換為標準化文字格式，使人工智慧更容易處理和檢索相關資訊。

部署 AI 代理？

閱讀我們的 AI Agent 實作藍圖

立即閱讀

3. 分塊和存儲

然後，轉換後的文件被分解為更小的、可管理的片段或區塊。這些區塊儲存在資料庫中，允許人工智慧代理在查詢期間有效地搜尋和檢索相關部分。

4.用戶查詢

知識庫建立後，使用者可以向人工智慧代理提問。使用自然語言處理 (NLP)處理查詢以了解使用者的詢問內容。

5. 知識檢索

人工智慧代理搜尋儲存的區塊，使用檢索演算法從上傳的文件中找到可以回答使用者問題的最相關的資訊。

6. 一代

最後，人工智慧代理將透過將檢索到的信息與其語言模型功能結合來產生回應，並根據查詢和檢索到的數據制定連貫的、上下文準確的答案。

進階 RAG 功能

如果您不是開發人員，您可能會驚訝地發現並非所有 RAG 都是一樣的。

不同的系統會視其需求、用例或技術能力，建立不同的 RAG 模型。

有些 AI 平台會提供進階的 RAG 功能，可進一步提升 AI 軟體的精確度與可靠性。

語意分塊與樸素分塊

樸素分塊是指將文件分割成固定大小的片段，例如將文字分割成 500 個單字的部分，而不考慮意義或上下文。

語意分塊則是根據內容將文件分成有意義的部分。

它會考慮自然的分隔，例如段落或主題，以確保每一塊都包含連貫的資訊。

強制引用

對於使用 AI 自動化高風險對話的產業 (例如金融或醫療照護)，引用可以幫助使用者在接收資訊時建立信任。

開發人員可以指示他們的 RAG 模型為發送的任何資訊提供引用。

例如，如果員工向人工智慧聊天機器人詢問有關健康福利的訊息，聊天機器人可以做出回應並提供相關員工福利文件的連結。

建立自訂的 RAG AI 代理程式

結合最新的力量LLMs 憑藉您獨特的企業知識。

Botpress 是一個彈性且可無限擴充的 AI 聊天機平台。

它允許使用者針對任何使用個案建立任何類型的 AI 代理或聊天機器人 - 並提供市場上最先進的 RAG 系統。

將您的聊天機器人整合到任何平台或管道，或從我們預先建立的整合庫中進行選擇。開始使用來自的教程Botpress YouTube 頻道或免費課程Botpress Academy 。

今天就開始建立。這是免費的。

構建 AI Chatbots

建立自訂的代理聊天機器人

立即開始

常見問題

1.RAG 與微調LLM 有何不同？

RAG 可讓您保持基本LLM 不變，只是在查詢時擷取相關資訊，而微調實際上是透過在您的資料上訓練模型來改變模型。RAG 的更新速度更快、更靈活。

2.哪些類型的資料來源不適合 RAG？

雜亂、過時或過於複雜的文件（例如掃描影像或非文字 PDF），以及資訊含糊不清或互相矛盾的來源，都可能會造成問題。

3.RAG 與提示工程等情境中學習技術相比如何？

Prompt engineering 的工作方式是直接將範例塞入提示語中，但 RAG 則是動態擷取外部知識，因此擴充性較佳，您不會那麼快就遇到符號限制，而且可以利用更大的資訊庫。

4.我可以將 RAG 與OpenAI、Anthropic 或 Mistral 等第三方LLMs 搭配使用嗎？

當然，您可以透過 API 將 RAG 系統插入大多數流行的LLMs 。您可以自行處理擷取的部分，只需傳送最後的提示（連同上下文）給模型即可。

5.啟用 RAG 的 AI 代理的持續維護是什麼樣子？

您要透過重新索引新文件來保持知識庫的新鮮度，監控效能以捕捉不良或遺失的回應，並偶爾調整分塊或擷取設定以改善相關性。