如果您想建立聊天機器人或搜尋引擎，您可能聽過一些關於向量資料庫的談話。
矢量資料庫在資料、資源和查詢之間的互動中扮演著不可或缺的角色，但處理這些資料庫可能會令人望而生畏。我曾經有過這樣的經驗：捲動諸如嵌入和模糊搜尋等深奧的術語，不確定自己是否過度工程化或只是遺漏了一些基本的東西。
誰決定推薦哪些 YouTube 影片？搜尋引擎如何克服錯字？Instagram 為什麼總是讓我看到毛茸茸的小狗？
讓我們來解讀向量、相似性和語意搜尋的世界，以及您如何建立更個人化的應用程式。
什麼是向量資料庫？
向量資料庫將資料儲存為數位表示（稱為向量）的集合，以捕捉資料的意義。這可讓您根據相似性進行搜尋，而不只是特定的關鍵字。
它們是現代聊天、搜尋和推薦系統背後的關鍵技術。
向量資料庫如何運作？
向量資料庫將文字、影像和試算表儲存為一系列向量，也稱為嵌入。每個向量都是一連串的數字，表面看起來沒什麼，但在底下卻能捕捉資料的抽象意義。
這些資料 - 不論是電子郵件、會議記錄、產品說明 - 都不會因為變成一連串的數字而被取代，而是會被編入索引。
這些微小、密集的嵌入使得資訊檢索既有效率又有意義。它們讓我們可以根據相似度來比較項目，而不只是關鍵字。讓我們來探討一下不同的元件。
關鍵概念
什麼是嵌入模型？
嵌入模型是經過訓練的機器學習模型，可將資料轉換為嵌入。
這些模型經過訓練，可以將資料壓縮成向量 (我們的嵌入)，然後再重新生成。壓縮後的向量會盡可能儲存資料中的語意資訊。
這表示它們不僅儲存文字，還儲存文字背後的想法。例如，嵌入可能會捕捉到：
- "小狗」和「狗」有密切關係
- 「如何重設我的密碼？」與「無法登入我的帳戶 」意思相似
- "經濟實惠的筆記型 電腦」和「經 濟實惠的 電腦」指的是同一件事
這類模式有助於人工智能代理 和搜尋引擎根據輸入的意義進行比較，而不僅僅是匹配關鍵字。
什麼是語意搜尋？
那麼，如何比較嵌入式的相似性？
如前所述，嵌入向量是一連串的數字。這些數字是高維空間中某一點的表示。我們可以用 2D 或 3D 來視覺化，但是 384 呢？我們有數百個數值，而不是 X、Y 和 Z，所有這些數值匯集在一起，指定了一個獨一無二的點位。
這些向量讓我們可以量測兩個內容的「接近」程度 - 不是以文字來衡量，而是以意義來衡量。
語意搜尋將查詢處理成向量，並在資料庫中搜尋最接近的向量。原則上，這些結果向量應該與使用者的查詢最相似。
向量資料庫的使用案例
既然我們已經瞭解向量是如何建立和匹配的，現在讓我們來看看使用向量為應用程式提供動力的不同方式。
RAG (Retrieval-Augmented Generation)
這種LLM 生成策略似乎是城中的熱門話題，而且理由充分：RAG 可靠、精確，並能提供具體的回應，這些都是透過 Vector DB 實現的。
使用RAG 時，使用者的查詢會被嵌入，並與資料庫中其他類似項目進行比較。然後，模型會在產生回應時參考這些項目。
RAG 避免依賴模型的內部知識或對話歷史，因為這兩者都可能是錯誤或不相關的。
假設您要求摘要說明拿破崙的童年。模型的回應似是而非，但是否準確？有了 RAG，與您查詢相關的文件將被用來引導模型的回應。如此一來，您就可以檢查主要資源，讓模型輸出保持可驗證的狀態。
如果您想看看實際上是什麼樣子，這裡有一份使用 RAG 建立聊天機器人的指南。
產品與內容建議
向量資料庫不只是用來回應使用者的查詢。它們也可以用來優化使用者的體驗。
追蹤使用者的導覽記錄並歸類類似項目，可讓企業決定向使用者推薦的最佳產品或內容。
這就是我們所說的演算法：策略性內容建議與目標性廣告的最佳範例。
想像一下視訊分享平台：每個視訊都有自己的嵌入資料儲存在資料庫中。當您觀看一個視訊時，系統會建議您觀看其他具有附近嵌入式的視訊，也就是類似的內容，即使標題或標籤完全不同。
隨著時間的推移，您的觀看記錄會變成一種個人化的「雲端」嵌入，幫助系統了解您的喜好，並推薦您下一步想看的內容。
矢量 DB 相較於傳統資料庫的優勢
既然我們已經了解向量資料庫的方式和內容，現在讓我們來談談為什麼：向量資料庫在聊天機和搜尋引擎上有什麼優勢？
1.它們為聊天機器人提供更多情境
LLMs 在長時間的對話中容易遺忘和產生幻覺。使用者和開發人員對哪些資訊會被保留都沒有清楚的感覺。
使用 RAG 等策略時，模型會針對您的查詢搜尋資料庫，找出所需的任何資訊，以提供準確的回應。
向量資料庫不需要提醒和糾正模型無數次，而是儲存相關資訊並明確引用。
2.它們讓搜尋結果不出現錯字
即使我們知道確切的關鍵字，搜尋也是一團糟。
golfen retriever ≠ golden retriever，但您的搜尋引擎應該更清楚。
如果我們是依照字面上的意思來比對查詢，那麼一個錯字或拼字錯誤就會取消相關選項的資格。
當我們抽象出搜尋查詢的意義時，具體的拼寫或措辭就不那麼重要了。
3.允許使用者執行模糊搜尋
搜尋與關鍵字無關，而是與 ✨vibes✨ 有關。
將文字抽象為嵌入向量，可讓您將其儲存於不可言喻的空間中。所以，表面上看來、
「我在這附近哪裡能買到致命的純白？」
不像
「附近提供咖啡因的最佳地點」、
但您的搜尋引擎會將它們一一匹配。這是有可能的，因為這兩個短語的嵌入非常接近，儘管它們的措辭不同。
4.向量 DB 可以比較不同的模式
資料有各種形狀、大小和類型。我們經常需要比較不同類型的資料。例如，使用文字來搜尋和過濾產品圖片。
多模式模型經過訓練，可比較不同類型的資料，例如文字、影像、音訊和視訊。
這讓您更容易談論您的內容。透過描述產品的圖像來尋找產品，或使用淺白的語言詢問圖表。
如何建立具備智慧搜尋功能的 AI 代理程式
如果您是語意搜尋的新手，您可能會被各種問題淹沒：
如何準備我的資料？
我應該包含哪些資料？
我應該使用哪種嵌入模型......以及我如何知道它是否有效？
幸運的是，您不需要事先想清楚。以下是幾個簡單步驟的入門方法：
1.定義使用個案
從簡單有用的東西開始。這裡有幾個範例可以讓您開始動腦筋：
- A 零售聊天機器人可以根據客戶的需求和喜好幫助他們找到合適的產品。問它：「有什麼150美元以下、適合徒步旅行的冬季夾克？」
- A 售票機器人 即時分流員工的 IT 請求。詢問「是否還有與 VPN 存取相關的高優先順序票單尚未分配？
- A 業務流程自動化 從頭到尾管理訂單履行的代理程式。問它："史密斯的訂單出貨了嗎？我們發送確認電子郵件了嗎？
所有這些都可以快速建立、輕鬆測試，並立即產生價值。
2.選擇您的平台
如果向量資料庫讓人感到困惑或抽象，有許多聊天機平台會在幕後為您處理嵌入和聚類。
4.新增說明
撰寫簡短、通俗易懂的說明，說明您的機器人的用途。
這有助於設定基調和期望：機器人應該如何與使用者交談、它可以預期哪些類型的問題，以及它可以參考哪些資料。
例如：
"您是人力資源團隊的支援助理。幫助員工尋找政策並回答有關 PTO 和福利的問題。使用員工手冊和人力資源文件中的資訊。要清楚且有禮貌。如果您不知道某件事情，請使用者聯絡人力資源部"。
5.測試與調整
使用真實查詢測試您的設定。詢問您的客戶會問的問題。結果是否相關？準確嗎？
根據需要調整您的機器人：
- 結果不完整？提高區塊數，以獲得更完整的回覆。
- 反應慢嗎？選擇速度更快的機型。
- 回應不正確？嘗試更精確的模型，或新增相關資料。
平台的客製化程度很高，因此解決問題通常只需要設定，例如使用可用的機型或變更說明。
.svg)
