AIプロジェクトのためのカスタムLLM の選び方

モデル選びのポイント

モデルを選ぶ際に答えられるようにするための良い質問リストがここにある：

• クラウドベースのLLM 。
• どのくらいのスピードで返答が必要ですか？
• どの程度正確な回答が必要ですか？
• 私のプロジェクトはいくら節約できるのか、あるいはいくら生み出せるのか。そして、そのプロジェクトはいくら以下になるべきなのか？
• 回答はどのくらいの長さが必要ですか？

一般的に言って、強力なモデルのスピードアップやコスト削減は難しく、精度の低いモデルを改善するのは簡単だ。 

しかし、強力なモデルを使えば、より早く始められ、プロジェクトのニーズを満たせば、エンジニアリングの労力はそれほど必要ないかもしれない（さらに、メンテナンスも簡単だ）。

モデルからの出発

まず最初にすべきことは、スタートモデルを選ぶことだ。ネット上には、さまざまなモデルを比較するリーダーボードがたくさんある。

例えば、こうだ：

• Hugging Face 、オープンソースモデルのリーダーボードを管理している。
• ヴェルムには、よりポピュラーなモデルのための優れたものがある。

社内にモデルがある場合は、予算との兼ね合いやデータの非公開を考慮し、その利用を検討する。自社でモデルをホストする必要がある場合は、オープンソースモデルを検討してください。

微調整 

ファインチューニングには、モデルが特定のタスクをうまくこなす方法を学ぶように、モデルに例を提供することが含まれます。あなたの製品について話すことを得意にさせたいのであれば、あなたの会社の最高のセールスコールの例を広範囲に提供するかもしれない。

モデルがオープンソースである場合、あなたのチームにモデルを微調整できるだけのエンジニアリング能力があるかどうかを自問する。

モデルがクローズドソースでサービスとして提供されている場合（GPT-4、またはClaude）、通常はAPIを使ってエンジニアにカスタムモデルを微調整してもらうことができる。通常、この方法では価格は大幅に上がりますが、メンテナンスはほとんど必要ありません。 

しかし、多くのユースケースでは、微調整はモデルを最適化するための最初のステップではない。 

微調整に最適なケースは、静的知識のためのナレッジボットを構築することだ。質問と答えの例を示すことで、将来、答えを調べなくても答えられるようになるはずだ。しかし、リアルタイムの情報には実用的なソリューションではない。 

検索補強世代

RAGというのは、ChatGPT で誰もがやったことのある単純なこと、つまり、ChatGPT にテキストを貼り付けて、それについて質問する、ということの高級な名前である。 

典型的な例としては、eコマースサイトで特定の商品の在庫があるかどうかを尋ね、チャットボットが（より広いインターネットの代わりに）商品カタログで情報を調べるというものだ。 

開発スピードやリアルタイムの情報を得るという点で、RAGは必須アイテムだ。 

通常、どのモデルを選ぶかには影響しないが、情報や回答を問い合わせるLLM APIエンドポイントを作成し、このエンドポイントを独自のLLM のように使用することを止めるものはない。 

ナレッジベースのチャットボットにRAGを使用すると、モデルの微調整や最新の状態に保つ必要がないため、メンテナンスが容易になることが多く、コスト削減にもつながります。

Nショット学習 

レスポンスの質を向上させる最も手っ取り早い方法は、LLM APIコール1回で例を提供することです。 

ゼロショット（回答で求めていることの例をゼロで示すこと）とは、私たちの多くがChatGPT を使う方法です。通常、1つの例（またはワンショット）を追加するだけで、回答の質が大幅に向上します。 

つ以上の例がNショットとみなされる。Nショットはファインチューニングとは異なり、モデルを変えることはない。あなたは毎回、回答を求める直前に例を挙げているだけだ。 

LLM モデルにはコンテキストの最大サイズがあり、メッセージのサイズに応じて価格が決まる。ファインチューニングはnショットの例の必要性を取り除くことができるが、正しく理解するのに時間がかかる。 

その他の迅速なエンジニアリング技術

思考連鎖のような、モデルに答えを出す前に声に出して考えさせるプロンプト・エンジニアリングのテクニックは他にもある。 

これによってレスポンスの質は高まるが、レスポンスの長さ、コスト、スピードが犠牲になる。 

私の推薦

プロジェクトごとに独自のニーズがあるだろうが、私は強力なアプローチについて2つのセントを述べる。 

GPT-4o Miniのような、スピードとクオリティのバランスが取れた既製モデルを使用することから始めるのが良いでしょう。まず、応答の質、応答速度、コスト、コンテキストウィンドウのニーズを調べ、そこから改善すべき点を決定します。 

次に、狭いユースケースで、簡単なプロンプト・エンジニアリングを試し、次にRAGを試し、最後に微調整を行う。これらを経たモデルはどれもパフォーマンスが向上するので、何を使うべきかを見極めるのは難しいかもしれない。

エンジニアリングをオフロードしてコスト削減

無駄のない予算を確保することは、プロジェクトを実現する上で非常に重要です。その方法のひとつが、要件の切り離しによるエンジニアリング時間の短縮です。 

今日、私たちはFlutterflowやShopifyのようなローコードソリューションにアクセスできるようになり、プロダクトマネージャーのような従来は非技術的な役割であった人々も使用できるようになった。チャットボットも例外ではなく、いくつかのAI自動化プラットフォームでは、独自のLLM使用することさえできます。 

エンジニアには、LLM ホスティングと自動化プラットフォームとのセットアップに集中するよう指示できる。その結果、ビジネスアナリスト、プロダクトマネージャー、その他の関連する役割は、ビジネス要件を満たすAIエージェントを構築するために解放される。 

追加的な何かが必要な場合、これらのプラットフォームは一般的に、エンジニアがコードを追加する方法を備えている。こうすることで、カスタムモデルの利点を維持したまま、柔軟性、スピード、手頃な価格を得ることができる。

ビジネス上の問題を解決するためにエンジニアリングの自由を提供する

一方で、ビジネス上の問題を解決するのが非常に難しい場合もある。 

私たちが話しているのは、完全にネットワークに接続されたLLM アプリケーション、オンデバイス・アプリケーション、あるいは2つのプラットフォーム間でデータを同期させる以上の、極めて高度な機能をチャットボットに与える必要のあるプロジェクトについてだ。 

そのような場合、エンジニアが最も使いやすいツールを自由に使えるようにすることは理にかなっている。これは通常、コードを書くだけであり、ステークホルダーは単にプロジェクト・マネージャーの役割を果たすだけである。

1.自分のビジネスのためにカスタムLLM 投資するROIをどのように評価すればよいですか？

To evaluate the ROI of investing in a custom LLM for your business, compare total costs (e.g., infrastructure, developer time, fine-tuning, and hosting) against measurable gains like labor reduction and conversion lift. 

2.カスタムLLM効果を測定するために、どのようなKPIを追跡すべきですか？

You should track KPIs such as response accuracy (precision/recall or task completion), latency (average response time), user satisfaction (CSAT/NPS), containment or resolution rate, and cost per interaction. These metrics reflect the technical performance of the model and its impact on business outcomes.

3.カスタムLLM ソリューションの長期メンテナンスコストはどのように見積もることができますか？

To estimate long-term maintenance costs for a custom LLM solution, include expenses for infrastructure (cloud compute, storage), engineering updates, retraining or fine-tuning frequency, monitoring tools, and adapting to regulatory changes. If your business data evolves rapidly, expect higher retraining and validation overhead over time.

4.特定の業界や領域について、どのようにLLMs ベンチマークを取ればよいですか？

Benchmark different LLMs by testing them with representative, domain-specific prompts and comparing their performance on accuracy, clarity, tone, and task relevance. You can use internal datasets or apply open-source industry benchmarks like FinancialQA or MedQA depending on your sector.

5.ユーザーデータを扱う場合、カスタムLLM どのようなコンプライアンス基準を満たす必要がありますか？

If you’re handling user data, your custom LLM should meet standards like GDPR (for EU data privacy), SOC 2 Type II (for operational security), and HIPAA (if handling healthcare data). The LLM provider should offer features like role-based access, data encryption in transit and at rest, audit logging, and clear policies for data retention and deletion.