ベクターデータベースAI検索を支えるゲームチェンジャー技術

エンベディング・モデルとは何か？

埋め込みモデルとは、データを埋め込みに変換するように訓練された機械学習モデルである。

これらのモデルは、データをベクトル（我々の埋め込み）に圧縮し、それを再生成するように訓練される。圧縮されたベクトルには、データの意味情報が可能な限り保存される。

つまり、単語だけでなく、その背後にある考え方も保存するのだ。例えば、エンベッディングは次のように捉えることができる：

• 「子犬」と「犬」は密接な関係にある
• "How do I reset my password? "は、"Can't log in to my account "と同じような意味です。
• 「手頃な価格のノートパソコン」と「お手頃価格のパソコン」は同じものを指す
  

この種のパターンは、AIエージェントや 検索エンジンが、単にキーワードにマッチするだけでなく、意味に基づいて入力を比較するのに役立つ。

セマンティック検索とは？

では、埋め込みはどのように類似性を比較されるのでしょうか？

前述のように、埋め込みベクトルは一連の数値である。これらの数値は、高次元空間における点の表現である。私たちは2Dや3Dで物事を視覚化することができますが、384ではどうでしょうか？X、Y、Zの代わりに数百の値があり、それらが集まって1つのユニークな点を特定する。

これらのベクトルによって、2つのコンテンツがどれだけ「近い」かを測ることができる。

意味検索はクエリをベクトルに変換し、最も近いベクトルをデータベースから検索する。これらの結果ベクトルは、原則として、ユーザーのクエリに最も類似していなければならない。

近似最近傍探索(ANN)

意味検索は近似最近傍（ANN）アルゴリズムを使って実行される。ANNの目的は、"データベースのどのベクトルが私のクエリと最も似ているか？"という質問に答えることである。

ANNにはいくつかのアルゴリズムがあり、それぞれに長所がある。例えば

RAG（リトリーバル・アグメンテッド・ジェネレーション）

このLLM 生成戦略は巷で話題になっているようだが、それには理由がある：RAGは信頼性が高く、正確で、具体的な回答を提供してくれる。

RAGを使用すると、ユーザーのクエリが埋め込まれ、データベースの残りの部分と比較され、類似の項目が検索されます。そして、モデルは応答を生成する際にこれらの項目を参照する。

RAGは、モデルの内部知識や会話の履歴に依存することを避ける。

ナポレオンの子供時代の要約を求めたとしよう。モデルの回答はもっともらしいが、それは正確だろうか？RAGを使えば、あなたのクエリに関連する文書が、モデルの回答を導くために使われます。そうすることで、主要なリソースをチェックすることができ、モデルの出力を検証可能な状態に保つことができます。

これが実際にどのようなものか見たい方は、RAGでチャットボットを構築するためのガイドをご覧ください。

製品とコンテンツの推奨

ベクターデータベースは、ユーザーからの問い合わせに対応するためだけに使われるわけではありません。ユーザーの体験を最適化するためにも使われます。

ユーザーのナビゲーション履歴を追跡し、類似したアイテムをクラスタリングすることで、企業はユーザーに勧めるべき最適な製品やコンテンツを決定することができる。

これは、私たちがアルゴリズムと呼んでいる、戦略的コンテンツの推奨とターゲット広告の好例である。

動画共有プラットフォームを考えてみよう。すべての動画は、データベースに保存された独自の埋め込みを持っている。ある動画を視聴すると、システムは、タイトルやタグがまったく異なっていても、似たようなコンテンツを意味する、近くのエンベッディングを持つ他の動画を提案することができる。

時間が経つにつれて、あなたの時計履歴はパーソナライズされた埋め込みの「クラウド」のようなものになり、システムがあなたの好みを理解し、あなたが次に見たいものを推薦するのに役立つ。

1.チャットボットにより多くのコンテキストを提供する

LLMs 長時間の会話では忘れやすく、幻覚を見やすい。ユーザーも開発者も、どの情報が保持されているのか明確な感覚を持っていない。

RAGのような戦略では、モデルはあなたのクエリに対してデータベースを検索し、正確な回答をするために必要なあらゆる情報を見つける。

ベクトル・データベースは、何度もモデルを思い出させたり修正したりするのではなく、関連する情報を保存し、それを明示的に参照する。

2.検索結果を誤字脱字に強くする

正確なキーワードがわかっていても、検索は厄介だ。 

ゴルフェン・レトリーバー ≠ ゴールデン・レトリーバーだが、検索エンジンはもっとよく知っているはずだ。

クエリを文字通りに照合する場合、タイプミスやスペルミスは関連する選択肢を除外することになる。 

検索クエリの意味を抽象化すると、具体的なスペルや言い回しはほとんど問題にならない。

3.ファジー検索を可能にする

検索はキーワードよりも✨雰囲気✨が重要なのだ。 

テキストを埋め込みベクトルに抽象化することで、それを不可分なバイブ空間に保存できる。つまり、表面上は 

"この辺でキラーフラットホワイトはどこで飲める？" 

には見えない。 

「近くのカフェイン補給に最適なスポット」、 

しかし、検索エンジンはそれらをすべて同じようにマッチさせる。このようなことが可能なのは、2つのフレーズの埋め込みが、表現は違っても非常に近いからです。

4.ベクトルDBはモダリティを超えて比較できる

データにはあらゆる形、サイズ、種類がある。私たちはしばしば、異なるタイプのデータを比較する必要があります。例えば、テキストを使って商品画像を検索し、フィルタリングする。

マルチモーダルモデルは、テキスト、画像、音声、ビデオなど、異なるタイプのデータを比較するために学習される。

そうすることで、コンテンツについて話しやすくなります。製品のイメージを説明することで製品を探したり、平易な言葉でチャートについて尋ねたりすることができます。

1.ユースケースを定義する

簡単で役に立つことから始めよう。歯車を回すための例をいくつか紹介しよう：

• A 小売チャットボットは、顧客のニーズや好みに基づいて適切な商品を見つける手助けをする。"150ドル以下で、ハイキングに適した冬用ジャケットは？"と尋ねてみてください。

• A 発券ボット 従業員の IT リクエストをリアルタイムでトリアージします。VPNアクセスに関する優先度の高いチケットがまだ割り当てられていないか？

• A ビジネス・プロセス・オートメーション 注文処理を最初から最後まで管理するエージェント。スミスの注文はまだ発送されていないか、確認メールは送ったか？

これらはすべて、素早く構築でき、テストも簡単で、すぐに価値を発揮する。

2.プラットフォームを選ぶ

もしベクターデータベースが分かりにくかったり抽象的だと感じるなら、エンベッディングやクラスタリングを裏で処理してくれるチャットボットプラットフォームがたくさんある。

3.データを集める

テキストファイル、PDF、スプレッドシートなど、すでに持っているものから始めよう。優れたプラットフォームは、あなたのためにフォーマットを処理します。コンテンツをアップロードするだけで、埋め込みやインデックス付けを裏でやってくれる。

具体的な内容は、使用しているプラットフォームによって異なります。ここでは、データを最大限に活用するためのヒントをいくつかご紹介します。

4.説明を追加する

あなたのボットが何のためにあるのか、短く平易な言葉で説明してください。

これは、ボットがどのようにユーザーに話しかけるべきか、どのような質問を想定しているか、どのようなデータを参照できるかといった、トーンと期待を設定するのに役立つ。

例：
「あなたは人事チームのサポートアシスタントです。社員がPTOや福利厚生に関する方針を見つけたり、質問に答えたりするのを手伝います。従業員ハンドブックや人事関連文書に記載されている情報を活用してください。わかりやすく丁寧に。わからないことがあれば、HRに問い合わせるようユーザーに頼んでください。"

5.テストと微調整

実際のクエリーでセットアップをテストしてください。あなたの顧客が尋ねそうなことを尋ねてみてください。結果は適切か？正確ですか？

必要に応じてボットを微調整してください：

• 不完全な結果？チャンク数を増やして、より充実した回答を。
• レスポンスが遅い？もっと速いモデルを選びなさい。
• 不適切な回答？より正確なモデルを試すか、関連するデータを追加してください。

プラットフォームは高度にカスタマイズ可能なので、問題解決は通常、利用可能なモデルを弄ったり、説明を変更したりといった設定の問題にすぎない。

1.ベクター・データベースの性能を評価するには？

スピード（クエリがどれだけ速く結果を返すか）、正確さ（結果がどれだけ適切か）、スケーラビリティ（多くのデータやユーザーをどのように扱うか）を総合的に判断する。実際にクエリを実行してみて、その結果が実際に役に立つかどうかを確認してください。

2.大規模なベクトルデータのストレージ要件は？

埋め込みサイズや扱うデータ量にもよりますが、高密度なベクトルはあっという間に増えてしまいます。何百万ものアイテムのインデックスを作成するのであれば、GBやTBを考えてみてください。圧縮とスマートなインデックス作成は、物事を効率的に保つのに役立ちます。

3.ノイズやモデルの偏りによって、全く異なる2つの文書が同じような埋め込みをした場合、どうなるでしょうか？

変な検索結果や無関係な検索結果になってしまいます。埋め込むモデルを微調整したり、フィルターやキーワードチェックを重ねたりして、結果を軌道に乗せるのが良い修正方法です。

4.ベクターデータはどのようにバージョン管理されていますか？

スナップショットを保存し、エンベッディング・モデルのバージョンを追跡し、大きなアップデートがあればインデックスを再作成する。プラットフォームによっては、バージョン管理ツールを内蔵しているものもあります。

5.従来のキーワード検索とベクトル検索を組み合わせることは可能ですか？

もちろん、これはハイブリッド検索と呼ばれるもので、重要なときには完全一致、言葉が足りないときにはあいまいな意味ベースの検索結果という、両方の長所を生かすことができる。ほとんどの最新のプラットフォームは、すぐにこれをサポートしている。