AIプロジェクトのためのカスタムLLM の選び方

モデル選びのポイント

モデルを選ぶ際に答えられるようにするための良い質問リストがここにある：

• クラウドベースのLLM 。
• どのくらいのスピードで返答が必要ですか？
• どの程度正確な回答が必要ですか？
• 私のプロジェクトはいくら節約できるのか、あるいはいくら生み出せるのか。そして、そのプロジェクトはいくら以下になるべきなのか？
• 回答はどのくらいの長さが必要ですか？

一般的に言って、強力なモデルのスピードアップやコスト削減は難しく、精度の低いモデルを改善するのは簡単だ。 

しかし、強力なモデルを使えば、より早く始められ、プロジェクトのニーズを満たせば、エンジニアリングの労力はそれほど必要ないかもしれない（さらに、メンテナンスも簡単だ）。

モデルからの出発

まず最初にすべきことは、スタートモデルを選ぶことだ。ネット上には、さまざまなモデルを比較するリーダーボードがたくさんある。

例えば、こうだ：

• Hugging Face 、オープンソースモデルのリーダーボードを管理している。
• ヴェルムには、よりポピュラーなモデルのための優れたものがある。

社内にモデルがある場合は、予算との兼ね合いやデータの非公開を考慮し、その利用を検討する。自社でモデルをホストする必要がある場合は、オープンソースモデルを検討してください。

微調整 

ファインチューニングには、モデルが特定のタスクをうまくこなす方法を学ぶように、モデルに例を提供することが含まれます。あなたの製品について話すことを得意にさせたいのであれば、あなたの会社の最高のセールスコールの例を広範囲に提供するかもしれない。

モデルがオープンソースである場合、あなたのチームにモデルを微調整できるだけのエンジニアリング能力があるかどうかを自問する。

モデルがクローズドソースでサービスとして提供されている場合（GPT-4、またはClaude）、通常はAPIを使ってエンジニアにカスタムモデルを微調整してもらうことができる。通常、この方法では価格は大幅に上がりますが、メンテナンスはほとんど必要ありません。 

しかし、多くのユースケースでは、微調整はモデルを最適化するための最初のステップではない。 

微調整に最適なケースは、静的知識のためのナレッジボットを構築することだ。質問と答えの例を示すことで、将来、答えを調べなくても答えられるようになるはずだ。しかし、リアルタイムの情報には実用的なソリューションではない。 

検索補強世代

RAGというのは、ChatGPT で誰もがやったことのある単純なこと、つまり、ChatGPT にテキストを貼り付けて、それについて質問する、ということの高級な名前である。 

典型的な例としては、eコマースサイトで特定の商品の在庫があるかどうかを尋ね、チャットボットが（より広いインターネットの代わりに）商品カタログで情報を調べるというものだ。 

開発スピードやリアルタイムの情報を得るという点で、RAGは必須アイテムだ。 

通常、どのモデルを選ぶかには影響しないが、情報や回答を問い合わせるLLM APIエンドポイントを作成し、このエンドポイントを独自のLLM のように使用することを止めるものはない。 

ナレッジベースのチャットボットにRAGを使用すると、モデルの微調整や最新の状態に保つ必要がないため、メンテナンスが容易になることが多く、コスト削減にもつながります。

RAG完全ガイドを読む

RAGを活用したいですか？私たちがお手伝いします。

今すぐ読む

アクセスはいつでも無料

Nショット学習 

レスポンスの質を向上させる最も手っ取り早い方法は、LLM APIコール1回で例を提供することです。 

ゼロショット（回答で求めていることの例をゼロで示すこと）とは、私たちの多くがChatGPT を使う方法です。通常、1つの例（またはワンショット）を追加するだけで、回答の質が大幅に向上します。 

つ以上の例がNショットとみなされる。Nショットはファインチューニングとは異なり、モデルを変えることはない。あなたは毎回、回答を求める直前に例を挙げているだけだ。 

LLM モデルにはコンテキストの最大サイズがあり、メッセージのサイズに応じて価格が決まる。ファインチューニングはnショットの例の必要性を取り除くことができるが、正しく理解するのに時間がかかる。 

その他の迅速なエンジニアリング技術

思考連鎖のような、モデルに答えを出す前に声に出して考えさせるプロンプト・エンジニアリングのテクニックは他にもある。 

これによってレスポンスの質は高まるが、レスポンスの長さ、コスト、スピードが犠牲になる。 

私の推薦

プロジェクトごとに独自のニーズがあるだろうが、私は強力なアプローチについて2つのセントを述べる。 

GPT-4o Miniのような、スピードとクオリティのバランスが取れた既製モデルを使用することから始めるのが良いでしょう。まず、応答の質、応答速度、コスト、コンテキストウィンドウのニーズを調べ、そこから改善すべき点を決定します。 

次に、狭いユースケースで、簡単なプロンプト・エンジニアリングを試し、次にRAGを試し、最後に微調整を行う。これらを経たモデルはどれもパフォーマンスが向上するので、何を使うべきかを見極めるのは難しいかもしれない。

エンジニアリングをオフロードしてコスト削減

無駄のない予算を確保することは、プロジェクトを実現する上で非常に重要です。その方法のひとつが、要件の切り離しによるエンジニアリング時間の短縮です。 

今日、私たちはFlutterflowやShopifyのようなローコードソリューションにアクセスできるようになり、プロダクトマネージャーのような従来は非技術的な役割であった人々も使用できるようになった。チャットボットも例外ではなく、いくつかのAI自動化プラットフォームでは、独自のLLM使用することさえできます。 

エンジニアには、LLM ホスティングと自動化プラットフォームとのセットアップに集中するよう指示できる。その結果、ビジネスアナリスト、プロダクトマネージャー、その他の関連する役割は、ビジネス要件を満たすAIエージェントを構築するために解放される。 

追加的な何かが必要な場合、これらのプラットフォームは一般的に、エンジニアがコードを追加する方法を備えている。こうすることで、カスタムモデルの利点を維持したまま、柔軟性、スピード、手頃な価格を得ることができる。

ビジネス上の問題を解決するためにエンジニアリングの自由を提供する

一方で、ビジネス上の問題を解決するのが非常に難しい場合もある。 

私たちが話しているのは、完全にネットワークに接続されたLLM アプリケーション、オンデバイス・アプリケーション、あるいは2つのプラットフォーム間でデータを同期させる以上の、極めて高度な機能をチャットボットに与える必要のあるプロジェクトについてだ。 

そのような場合、エンジニアが最も使いやすいツールを自由に使えるようにすることは理にかなっている。これは通常、コードを書くだけであり、ステークホルダーは単にプロジェクト・マネージャーの役割を果たすだけである。