AIにおけるヒューマン・イン・ザ・ループ：精度を高め、リスクを減らす

AIでビジネスを改善しようと考えているのは、あなただけではありません。AIチャットボットは最も急速に成長しているコミュニケーションチャネルであり、もはや贅沢品ではなく、期待されています。

しかし、そのコントロールを放棄することは、ちょっと怖いと感じるかもしれない。いわゆる「ブラックボックス・アルゴリズム」に重要なオペレーションを委ねることは、大きな飛躍のように感じられるかもしれない。

そしてそれは、企業がAIの操縦に人間の介入を頼る理由でもある。ほぼすべてのAIエージェントのフレームワークには、人間がAI操作を監視する「ヒューマン・イン・ザ・ループ」が含まれている。

この記事では、AIチャットボットとエージェントをユーザーがよりコントロールできるようにするために、それが何であるか、どのように機能するかを説明し、人間の介入がどのように日常的に使われているかをいくつか例として挙げます。

ヒューマン・イン・ザ・ループとは何か？

ヒューマン・イン・ザ・ループ（HITL）とは、AIの能力を向上させたり拡張させたりするために人間の入力を利用するAIの協調的アプローチである。これは、人間が注釈を付けたデータ、修正されたモデル出力、あるいはAIが不確実であったり効果がないと判断された場合に人間がタスクを完了させるといった形で行われる。

この言葉は少し曖昧かもしれない。技術的には、データのラベリングや モデルの評価から 能動学習や エスカレーションに至るまで、AIアプリケーションのライフサイクルに人間が関与することを指す。

実際には、AIプロバイダーがHITL機能を提供する場合、それは一般的にAIの出力に対する監視を意味する：応答を確認し、人間のエージェントにチャットボットインタラクションをエスカレーションする機会。

AIにおいて人間はどのように「ループの中にいる」のか？

よく整備されたAIのパイプラインには、人間にとっての入り口がいくつかある。

AIは、学習データからパターンを発見し、そのパターンを新しい未知のデータに汎化するように訓練される。私たちは、モデルがどのデータを見るかを決めることはできるが、データからどのパターンを引き出すかを決めることはできない。

データ収集、トレーニング、配備など、プロセスのあらゆる段階で、モデルが期待通りに機能しているかどうかを確認するのは人である。

この人為的介入がどこでどのように行われるかによって、以下のカテゴリーに分類される：

継続的な学習のためのフィードバック

ChatGPT 2つの回答のうちどちらが良いか聞いてくることがありますよね？フィードバックはモデルが学習するための新しいデータとして扱うことができます。

しかし、フィードバックは明確である必要はない。

ソーシャルメディアのレコメンデーションを考えてみよう。予測モデルは、あなたの履歴に基づいて常にコンテンツを提案する。あなたがプラットフォームを利用するにつれて、あなたが選択したコンテンツは、レコメンデーションモデルを継続的に訓練するためのデータとして使用される。

この場合、あなたは人間です。そして、アプリを使うことで、将来の推薦のためのガイドの役割を果たすことになる。 

モデルがデータで学習され、ユーザーがモデルと相互作用し、その相互作用によってデータが作成され、モデルが再び学習される。

エスカレートした状況への対応

HITLは必ずしもシステムを改善することではない。難しいケースを人間に委ねることもある。

カスタマーサポートのチャットボットを考えてみましょう。95％の質問に明確、簡潔、正確に答えることで、チームの仕事の大部分を軽減します。

でも、その5％がある。

ケースによっては超特殊であったり、AIの専門外であるほど曖昧であったりする。この場合、人間の介入によってモデルが改善されることはないが、これは人間と機械学習が共生的に機能する方法の素晴らしい例である。

トレーニングのためのデータ注釈

技術的に言えば、ほとんどすべての機械学習はHITLメカニズムで構築されている。そのため、HITLといえば、上記のカテゴリーを指すことがほとんどである。

とはいえ、機械学習のループにおける人間の労力と専門知識に注意を払わないのは不注意だろう。

データはAIのバックボーンであり、人間に依存している。AIモデルは、入力データに基づいて ラベルを予測するように訓練される。ラベルはAIが期待する出力であり、それを作るのは我々人間だ。

人的表示の例としては、以下のようなものがある：

• 大規模言語モデルLLMs学習するためのプロンプトに対する手書き応答
• 音声認識モデルのための音声ファイルの書き起こし。
• 物体検出モデルのために画像中の物体に注釈を付ける
• メールクライアントのスパム検出機能で、サンプルメールを スパムまたは非スパムとしてマークする。

モデル性能の評価

AIモデルの構築に費やされる時間の大半は、それをより良くする方法を見つけ出すことに費やされる。精度やリコールなど、計算できる指標は無限にあるが、モデルがどのように機能しているのか、さらに重要なのは、それに対して何をすべきかを把握するには、専門家の洞察力が必要だ。

例えば、ある研究者は、モデルが犬の画像を識別するのは得意だが、ホットドッグは識別できないことに気づくかもしれない。これは、ホットドッグの写真を追加したり、多様化したりすることで修正できる。

チャットモデルが以前のメッセージの情報を記憶するのに苦労することがある。研究者は通常、モデルのアーキテクチャや生成方法に低レベルの調整を加えることでこれに対処する。

ヒューマン・イン・ザ・ループAIの利点

AIは信じられないほど効率的で、微妙なパターンを認識するのに有効かもしれないが、人間は賢い。 

HITLは、人間レベルのニュアンスとAIのワークフロー自動化の効率性を組み合わせることで、ユーザーやプロバイダーが求める体験に合わせた対応を実現するものだ。

1.正確性と信頼性

これは間違いない。プレーンなAIより優れているものは何か？修正されたAIだ。 

エッジケースに取り組むために最適化されているだけでなく、出力が継続的に見直され、改善されることをユーザーが知っているという意味で信頼できる。

2.バイアスの緩和

データは不完全であり、モデルの出力はそれを反映する。バイアス（特定の出力が他の出力よりも偏ること）は、機械学習やAI全体で問題となっている。

人種差別的な画像生成や、性別による職業資格の決定などは、AIが学習データに存在するバイアスを反映する方法の一例である。

HITLは、人々がこれらの問題にフラグを立て、モデルをより公平な結果に導くことを可能にする。

3.継続的改善と適応性

モデルが本番稼動したからといって、トレーニングが終わるわけではありません。HITLでは、モデルを新しいデータで訓練し続けることで、未知のケースをより良く一般化することができます。 

例えば、生成されたテキストを編集したり、ユーザーのコンテンツ選択に従ったりすることで、モデルが改善に使えるデータが増える。

しかし、モデルが改善されるだけでは十分ではなく、モデルも変化しなければならない。

刻々と変化する世界に適応する方法を当然だと考えるのは簡単だ。しかし、AIではそれが当たり前ではありません。HITLは、専門知識と微妙な判断を組み合わせ、モデルのアウトプットを時代に沿ったものに保ちます。

4.透明性と信頼

人間が関与することで、AIの判断がより透明化される。人間が出力を修正したり、確実性の低いケースを解決したりすることで、ユーザーは自分が賢明なアルゴリズムとやりとりしていると安心することができる。

AIをコントロールするのは私たちであって、その逆ではない。

ヒューマン・イン・ザ・ループの使用例

1.自動運転

今後10年間で市場規模が3USD 9000億ドルに達すると予測される自動運転は、AIの次の大きなフロンティアかもしれない。自動運転は、物体検出モデルと一瞬一瞬の意思決定を活用し、人の運転をシミュレートする。

しかし、これほど人の手を介さないものでありながら、かなり人間に依存している。モデルは常に人間の運転パターンを観察し、その意思決定を独自の予測と比較している。

2.小売

リテールチャットボットは、パーソナライズされたエクスペリエンスを提供しながら、顧客とのやり取りを自動化する素晴らしい方法です。HITLを使えば、その体験をスムーズかつ貴社のビジネスに沿ったものに保つことができます。例えば

• ボットの推奨製品を見直し、修正する
• 人間のエージェントを派遣する前に、顧客に基本的なニーズについて話してもらう。

3.財務

金融チャットボットは、AIの自動化と人間の専門知識を融合させる素晴らしい方法です。

不正検知システムは、取引における不審な行為を見つけ出すのに優れている。しかし、不審な行為のすべてが悪質なわけではないし、コーヒーの注文を変更するたびにカードがキャンセルされるのも困る。

HITLは、確実性が低くリスクの低い症例をヒトに委ねることができる。

融資リスク評価もAIが得意とする分野であり、一見無関係に見えるあらゆる種類のデータから確率を計算することに長けている。しかし、そのデータにはほぼ間違いなくバイアスが含まれている。 

公平性を保ち、偏見を緩和するためには、しばしば実在の人物の助けが必要だ。

4.ヘルスケア

クロードに命を救われたredditのユーザーは、ヘルスケアにおけるAIの可能性を支持する最初の人物となるだろう。

医療AIチャットボットは、その可能性の一部を紹介してきたが、それだけにとどまらない：AIは、MRIの読影結果に基づいて診断を決定したり、検査結果に基づいて経過観察を提案したりすることができる。しかし、私は医師を見捨てる準備ができていない。

HITLは、医師が見落とした可能性のある症例を発見し、なおかつ医師が最終的な判断を下せるという、両方の長所を兼ね備えている。

人間拡張AIを今すぐ活用しよう

Botpress 、何千ものボットをシームレスな人間の監視の下に配置しており、市場で最も柔軟なAIエージェントプラットフォームです。

Botpress 、HITLとの統合、ビジュアルなドラッグ＆ドロップビルダー、すべての一般的なコミュニケーションチャンネル（Slack、Telegram、WhatsApp、Webを含む）へのデプロイメントを備えています。

今日から始めよう。無料です。

よくあるご質問

AIシステムに人間が関与する必要があるかどうかは、どうすればわかるのか？

AIシステムが、重大な意思決定を扱う場合、曖昧な状況や稀な状況に頻繁に遭遇する場合、偏った出力や有害な出力を生成する危険性がある場合、コンプライアンスや顧客の信頼のために絶対的な正確さと人間の判断が不可欠な領域で動作する場合などには、人間の関与が必要になる可能性が高い。

ヒューマン・イン・ザ・ループは非技術的なビジネス・プロセスで使えるのか、それともAIモデルでのみ使えるのか？

ヒューマン・イン・ザ・ループは、顧客からのクレームのレビューやコンテンツのモデレートなど、非技術的なビジネス・プロセスで使用することができる。機械的な判断だけでは不十分な自動化されたワークフローに、人間の判断を入れることを意味するからだ。

ヒューマン・イン・ザ・ループを使うということは、私のAIシステムはそれほど高度ではないということですか？

ヒューマン・イン・ザ・ループを使用することは、AIシステムが高度でないことを意味しない。AIのスピードやパターン認識と、しばしば不可欠となる微妙な判断のための人間の判断を組み合わせることで、安全性と公平性を優先していることを示しているのだ。

ヒューマン・イン・ザ・ループAIは中小企業にとって費用対効果が高いのか、それとも大企業だけのものなのか？

最新のツールを使えば、厄介なケースにのみ選択的に人間を関与させることができるため、人件費を最小限に抑えつつ、大規模な労働力を必要とせずに正確性と信頼性を向上させることができる。

AIシステムにヒューマン・イン・ザ・ループのプロセスを追加するには、どれくらいのコストがかかるのだろうか？

人間によるイン・ザ・ループ・プロセスを追加する場合、社内のスタッフをたまに使う程度の最小限のコストから、専属のレビュアーや専門の請負業者が必要な場合は、毎月数百dollars 数千dollars 多額のコストがかかることもある。