.webp)
LLMs は、AIソリューションの構築方法を変革している。より新しく、より優れた既製のモデルが常にリリースされている。
よく聞かれる質問に、なぜ既製品ではなくカスタムメイドのLLM 。
AIエージェントやAIチャットボットを構築するようなAIプロジェクトに取り組んでいる場合、カスタマイズされた大規模言語モデル(LLM)を使用することを選ぶかもしれません。
カスタムLLM を使う理由はたくさんあり、自由に使えるオプションもたくさんある。この記事では、AIプロジェクト用にLLM をカスタマイズするさまざまな方法について説明します。
なぜカスタムLLM ？
カスタムLLM ：
- ビジネスのユースケースにとって重要な特定のタスクに集中することでコストを削減したい、あるいはレイテンシーを最小限に抑えたい。
- すべてのデータを非公開にするか、社内のLLM 。
- 特定の課題に対する回答の質を向上させたいと思うかもしれない。
どのような理由であれ、LLM をカスタマイズすることで、ビジネスニーズに合わせて精度、スピード、コストのバランスをとりながらパフォーマンスを最適化することができます。
どのようなものを選ぶかLLM
LLMs AIプロジェクトに影響を与える2つの性質、すなわち、その規模（パラメータ数で測定）と回答の質である。
パラメータは脳のニューロンのようなものだと考えればいい。脳が大きいと頭がいいと思われがちだが、必ずしもそうではない。また、脳の一部は視覚のような特定のタスクに高度に最適化されていることもある。
AIプロジェクトでは、通常、サイズが応答速度に影響し、応答コストに大きく影響する。低遅延を必要とするプロジェクトでは、より小さなモデルを使用することが多いが、レスポンスの質は犠牲になる。
モデル選びのポイント
モデルを選ぶ際に答えられるようにするための良い質問リストがここにある：
- クラウドベースのLLM 。
- どのくらいのスピードで返答が必要ですか？
- どの程度正確な回答が必要ですか？
- 私のプロジェクトはいくら節約できるのか、あるいはいくら生み出せるのか。そして、そのプロジェクトはいくら以下になるべきなのか？
- 回答はどのくらいの長さが必要ですか？
一般的に言って、強力なモデルのスピードアップやコスト削減は難しく、精度の低いモデルを改善するのは簡単だ。
しかし、強力なモデルを使えば、より早く始められ、プロジェクトのニーズを満たせば、エンジニアリングの労力はそれほど必要ないかもしれない（さらに、メンテナンスも簡単だ）。
RAG、ファインチューニング、Nショット学習、プロンプト・エンジニアリングの選択
LLM レスポンスの質を向上させる5つの一般的なコンセプトがある：
- 事前に訓練されたモデルから始める
- ラグ
- 微調整
- Nショット・プロンプティング
- 迅速なエンジニアリング
これらはカスタムモデルの使用に特化したものではないが、互いに協力し合うものであるため、関係なく考慮すべきである。
モデルからの出発
まず最初にすべきことは、スタートモデルを選ぶことだ。ネット上には、さまざまなモデルを比較するリーダーボードがたくさんある。
例えば、こうだ：
- ハギング・フェイスは、オープンソースモデルのリーダーボードを管理している。
- ヴェルムには、よりポピュラーなモデルのための優れたものがある。
社内にモデルがある場合は、予算との兼ね合いやデータの非公開を考慮し、その利用を検討する。自社でモデルをホストする必要がある場合は、オープンソースモデルを検討してください。
微調整
ファインチューニングには、モデルが特定のタスクをうまくこなす方法を学ぶように、モデルに例を提供することが含まれます。あなたの製品について話すことを得意にさせたいのであれば、あなたの会社の最高のセールスコールの例を広範囲に提供するかもしれない。
モデルがオープンソースである場合、あなたのチームにモデルを微調整できるだけのエンジニアリング能力があるかどうかを自問する。
モデルがクローズドソースでサービスとして提供されている場合（GPT-4、またはClaude）、通常はAPIを使ってエンジニアにカスタムモデルを微調整してもらうことができる。通常、この方法では価格は大幅に上がりますが、メンテナンスはほとんど必要ありません。
しかし、多くのユースケースでは、微調整はモデルを最適化するための最初のステップではない。
微調整に最適なケースは、静的知識のためのナレッジボットを構築することだ。質問と答えの例を示すことで、将来、答えを調べなくても答えられるようになるはずだ。しかし、リアルタイムの情報には実用的なソリューションではない。
検索補強世代
RAGというのは、ChatGPT で誰もがやったことのある単純なこと、つまり、ChatGPT にテキストを貼り付けて、それについて質問する、ということの高級な名前である。
典型的な例としては、eコマースサイトで特定の商品の在庫があるかどうかを尋ね、チャットボットが（より広いインターネットの代わりに）商品カタログで情報を調べるというものだ。
開発スピードやリアルタイムの情報を得るという点で、RAGは必須アイテムだ。
通常、どのモデルを選ぶかには影響しないが、情報や回答を問い合わせるLLM APIエンドポイントを作成し、このエンドポイントを独自のLLM のように使用することを止めるものはない。
ナレッジベースのチャットボットにRAGを使用すると、モデルの微調整や最新の状態に保つ必要がないため、メンテナンスが容易になることが多く、コスト削減にもつながります。
Nショット学習
レスポンスの質を向上させる最も手っ取り早い方法は、LLM APIコール1回で例を提供することです。
ゼロショット（回答で求めていることの例をゼロで示すこと）とは、私たちの多くがChatGPT を使う方法です。通常、1つの例（またはワンショット）を追加するだけで、回答の質が大幅に向上します。
つ以上の例がNショットとみなされる。Nショットはファインチューニングとは異なり、モデルを変えることはない。あなたは毎回、回答を求める直前に例を挙げているだけだ。
LLM モデルにはコンテキストの最大サイズがあり、メッセージのサイズに応じて価格が決まる。ファインチューニングはnショットの例の必要性を取り除くことができるが、正しく理解するのに時間がかかる。
その他の迅速なエンジニアリング技術
思考連鎖のような、モデルに答えを出す前に声に出して考えさせるプロンプト・エンジニアリングのテクニックは他にもある。
これによってレスポンスの質は高まるが、レスポンスの長さ、コスト、スピードが犠牲になる。
私の推薦
プロジェクトごとに独自のニーズがあるだろうが、私は強力なアプローチについて2つのセントを述べる。
GPT-4o Miniのような、スピードとクオリティのバランスが取れた既製モデルを使用することから始めるのが良いでしょう。まず、応答の質、応答速度、コスト、コンテキストウィンドウのニーズを調べ、そこから改善すべき点を決定します。
次に、狭いユースケースで、簡単なプロンプト・エンジニアリングを試し、次にRAGを試し、最後に微調整を行う。これらを経たモデルはどれもパフォーマンスが向上するので、何を使うべきかを見極めるのは難しいかもしれない。
プライバシーへの配慮
理想的な世界では、すべてのLLM 。
残念ながら、これは実際には見られないことである。
1つ目は単純で、カスタムモデルをホストして維持するためにはエンジニアリングが必要であり、これは非常にコストがかかる。ホスティングされたモデルにダウンタイムが発生すると、ビジネス指標に影響が出るため、デプロイは非常に頑丈でなければならない。
もうひとつの理由は、OpenAI 、Google、Anthropicのような業界リーダーが、より新しく、より高性能で、より安価なモデルを常にリリースしており、微調整の作業が冗長になっていることだ。これは、ChatGPT 3.5のリリース以来のことであり、変わる気配はない。
ユースケースに極めて機密性の高いデータが含まれる場合、モデルを使用し、ユースケースに合わせて最適化することは理にかなっている。GDPRが最重要課題であれば、GDPRに準拠した既製のモデルはいくらでもある。
を選択した後に構築する。LLM
LLM を選択したら、AIプロジェクトをどのように構築し、維持するかを考え始めることができる。例として、私が最も慣れ親しんでいるタイプのプロジェクト、AIエージェントや AIチャットボットを取り上げます。
以下の質問に答えることで、プロジェクトのスコープを設定することができます：
- AIエージェントをどこに住まわせたいですか？(Slack,WhatsApp, ウェブサイトのウィジェットなど)
- その知識はどこにあるのか？
- もしあるとすれば、知識回答以外にどのような能力を持つべきか？
- ビジネスのどこかで何かが起きたときに作動させるべきか？
エンジニアリングをオフロードしてコスト削減
無駄のない予算を確保することは、プロジェクトを実現する上で非常に重要です。その方法のひとつが、要件の切り離しによるエンジニアリング時間の短縮です。
最近では、FlutterflowやShopifyのようなローコードソリューションが利用できるようになり、プロダクトマネージャーのような従来は技術者でなかった役割も利用できるようになった。チャットボットも例外ではなく、いくつかのAI自動化プラットフォームでは、独自のLLM 。
エンジニアには、LLM のホスティングと自動化プラットフォームとのセットアップに集中するよう指示することができる。その結果、ビジネスアナリスト、プロダクトマネージャー、その他の関連職は、ビジネス要件を満たすAIエージェントの構築に専念できるようになる。
追加的な何かが必要な場合、これらのプラットフォームは一般的に、エンジニアがコードを追加する方法を備えている。こうすることで、カスタムモデルの利点を維持したまま、柔軟性、スピード、手頃な価格を得ることができる。
ビジネス上の問題を解決するためにエンジニアリングの自由を提供する
一方で、ビジネス上の問題を解決するのが非常に難しい場合もある。
私たちが話しているのは、完全にネットワークに接続されたLLM アプリケーション、オンデバイス・アプリケーション、あるいは2つのプラットフォーム間でデータを同期させる以上の、極めて高度な機能をチャットボットに与える必要のあるプロジェクトについてだ。
そのような場合、エンジニアが最も使いやすいツールを自由に使えるようにすることは理にかなっている。これは通常、コードを書くだけであり、ステークホルダーは単にプロジェクト・マネージャーの役割を果たすだけである。
カスタマイズのための戦略的検討事項LLM
AIプロジェクトにカスタムLLM を選択することは、単に最適なモデルを選ぶということではなく、目標に沿った戦略的決定を下すということです。
カスタムモデルは、柔軟性、コントロール性、そして特定のタスクに最適化する可能性を提供するが、同時に複雑さも伴う。既製のモデルから始めて、迅速なエンジニアリングを試し、そこから徐々に改良していく。
適切なモデルは、技術的なニーズだけでなく、ビジネス上のニーズにも適合する必要があることを忘れないでくださいstack 。
強力なプラットフォームによるカスタマイズ
AIプロジェクトを一段上のレベルに引き上げる準備はできているだろうか？
Botpress は、完全に拡張可能で柔軟なAIエージェントプラットフォームです。私たちのstack を使えば、開発者はどんなユースケースにも対応できるチャットボットやAIエージェントを構築することができます。
私たちの特徴は、充実した教育プラットフォームです、 Botpress AcademyYouTubeチャンネルもあります。当社のDiscord は20,000人以上のボットビルダーをホストしており、いつでも必要なサポートを受けることができます。
今日から始めよう。無料です。
.svg)
