インテント分類器を廃止した理由

1.データ依存性

インテント分類器はデータを必要とする。正確に動作させるためには、各インテントのユーザー例の膨大で代表的なデータセットが必要だ。それがなければ、入力を正しく分類するのに苦労する。

そして、これらのデータセットを構築するのは骨の折れる作業だ。開発者は、例を集めてラベルを付けるのに延々と時間を費やす。

2.拡張性の制限 

また、インテント分類器はスケールするようには作られていない。新しいインテントを追加することは、より多くのデータを収集し、モデルを再トレーニングすることを意味し、すぐに開発のボトルネックになります。Plusまた、言語が進化するにつれて、発話も進化するため、メンテナンスに頭を悩ませることになります。

3.言語理解力の低さ 

意図的な分類は真の言語理解に欠けている。彼らは言語のバリエーションに苦戦している：

• 同義語
• パラフレーズ
• あいまいな表現
• タイプミス 
• 聞き慣れない口語表現
• 断片化されたインプット

また、通常、各発話を単独で処理するため、会話を通して文脈を維持する能力に欠ける。 

4.オーバーフィット

インテント分類器はオーバーフィッティングを起こしやすく、一般的なパターンを学習する代わりに訓練例を記憶してしまう。 

つまり、見たことのある正確なフレーズにはよく反応するが、新しい入力や多様な入力には苦戦するということだ。そのため、プロフェッショナルなユースケースには適していない。

1.ゼロショット学習機能 

LLMs は学ぶために例を必要としない。開発者が具体例を教えるまでもなく、彼らはすでに文脈、ニュアンス、意図を理解しているのだ。

2.ニュアンスという小さなもの

LLMs を得意とする。慣用句や皮肉、あいまいな表現も簡単に解釈できる。 

多様なデータセットで豊富なトレーニングを積んだ彼らは、意図的な分類では見逃しがちな、人間のコミュニケーションの微妙なニュアンスを把握する能力を備えている。

3.より良い文脈

LLMs 会話の内容がわからなくなることはない。そのため、やりとりが自然に流れ、首尾一貫したものに感じられるのだ。

このような文脈は、曖昧さを解消するのにも役立つ。インプットが曖昧であったり複雑であったりしても、より広い範囲での会話に目を向けることで、それをつなぎ合わせることができるのだ。

4.スケーラビリティ

LLMs は100％スケーリングに長けている。言語に対する幅広い理解のおかげで、新しいトピックを扱うのに再トレーニングは必要ない。 

そのため、どんなユースケースにもすぐに対応できる。マルチエージェントシステムでは、インテント分類器の代わりにLLM 。

5.柔軟性

LLMs は、堅苦しいテンプレートに頼ることはありません。その柔軟性は、応答が自然で、変化に富み、会話に完璧に合わせられていると感じられることを意味します。ユーザーにとっては、もろいインテント分類器よりもはるかに良い体験です。

6.少ないトレーニングデータ

LLMs は、タスク固有のラベル付きデータを必要としない。その威力は、多様なテキストに対する膨大な事前学習から生まれるため、丹念にアノテーションされたデータセットに依存することはない。

必要であれば、開発者はいつでもプロジェクト用に LLM をカスタマイズすることができる。例えば、LLMs は最小限のデータで微調整が可能なので、特殊なユースケースや業界にも素早く対応できる。

しかし、Botpress はLLM-first

LLMs は、昔ながらのインテント分類器よりも、インテントを識別するのがずっと得意です。そのため、私たちは2020年にLLM-firstとなるようにゼロから書き直したのです。 

私たちは、より優れた技術が登場したことを知り、レガシー技術にしがみつくのではなく、飛躍するために投資した。