AI幻覚が成績に響く前に止めよ

ホアキン・フェニックスがスカーレット・ヨハンソンに「イチゴの Rはいくつ？LinkedInをやっている人なら、答えは3だと知っているはずだ。

しかし、AIチャットボットにとって、それは必ずしも単純なことではない。 

AIの幻覚を揶揄する人々を見たことがあるだろう。そして公平を期すなら、無限の知識を持ち、人間のような推論能力を持ち、電光石火の速さでタスクを実行するAIモデルが、幼稚園児レベルの算数の問題で失敗するのは、まあ、一種の不条理だ。

しかし、楽しい遊びの裏側には、もっと深刻な--そして陰湿な--現実が潜んでいる。

この記事では、AIの幻覚について-幻覚とは何か、幻覚の原因、幻覚がなぜ問題なのか、幻覚を防ぐためにできる対策についてお話しします。

AI幻覚とは何か？

AIの幻覚とは、AIモデルが不正確で誤解を招く、あるいは完全に捏造された情報を提示することである。この虚偽の情報は、もっともらしく見えることがあり、多くの場合、発見されない。

LLMs広く採用されているため、幻覚は生成テキストモデルの文脈で言及されることが多い。実際には、幻覚は生成AIのあらゆる応用にリスクをもたらす。

AIにおける幻覚の原因は？

AIの幻覚は、モデルが誤ったパターンを学習することで起こる。

パターンとは、AIの文脈では、個々の訓練例を使用して、未知のデータ全体で一般化する能力を指す。これは、テキストの続きを形成する一連の単語であったり、犬に対応する画像ピクセルの分布であったりする。

LLM 幻覚の場合、モデルは一連の単語を、偽ではあるが、ユーザーのプロンプトに対する最も可能性の高いフォローアップとみなした。

これは、以下のような理由が考えられる：

質の低いトレーニングデータ

ChatGPTや同様のLLMs 、大量のデータで訓練される。このデータは豊富かもしれないが、以下の理由により不完全である：

• 特定のトピックにおけるギャップ
• 現実の偏見を反映する
• 意図的な誤報または無記名の風刺
• 偏った、つまり不均衡な、あるいは「片寄った」データ。

ギリシャ神話の1神を除くすべての神についての情報をモデルに学習させたシナリオを考えてみよう。

愛、倫理、裏切りといったギリシア神話的なトピックを統計的に結びつける能力があるため、統計モデルから「ありそうだ」と判断したでっち上げの神話をつなぎ合わせてしまう可能性がある。

これは画像生成においても明らかで、女性を被写体とするプロンプトの多くは、超セクシュアルな画像を生成する。ある特定のタイプの描写への偏りが、生成される画像の種類を規定している。

ストロベリーのスペルは、英語を母国語としない人たちが苦手とするダブルRの議論の文脈で学習データに登場した可能性が高い。この場合、数字の2や"double "という単語がスペルに関連して出てきた可能性が高い。

その一方で、3Rがあることを示すデータがあったとは考えにくい。

プロンプトは「どんな状況下で、誰かが単語を書いて、その綴りを尋ねるだろうか？

モデル・アーキテクチャと生成方法

モデルは、驚異的に複雑なニューラルネットワークアーキテクチャから構築されている。わずかな違いは、モデルがトレーニングデータや入力プロンプトと 相互作用する方法に影響を与える。幻覚を軽減するモデルの能力は、厳密な研究と テストを通じて 少しずつ改善されていく。

その上、生成はどのように行われるのか。単語ごとに（実際には単語単位で）、モデルが後に続く可能性の高い単語を予測する。だから

"素早い茶色の狐は怠け者の○○を飛び越える"

次の単語は「犬」である可能性が高い。しかし、他の単語もありうる。そして、最も可能性の高い次の単語を決定することだけに基づいた生成は、面白みのない、予測可能な結果を生む。

つまり、エキサイティングでありながら首尾一貫した反応を保つためには、独創的なサンプリング方法を採用しなければならない。そうすることで、時には事実が抜け落ちてしまうこともある。

オーバーフィット

オーバーフィッティングとは、モデルがデータを忠実に予測するように学習され、新しい入力に対して汎化できないことである。

だから、もし私が（母が言うように）モデルだとしたら、犬をそう見分けることができれば、私はきちんと訓練されたモデルということになる：

毛むくじゃらで、垂れ耳で、遊び好きで、小さな茶色のボタン鼻。

しかし、もし私が彼らをこのようにしか認識していないとしたら、私はフィットしすぎているだろう：

顎の下に茶色の点があり、"フランク "と名乗る。

LLMの文脈では LLMLLMの文脈では、答えがわからないところで手を引くのではなく、学習データで見た情報をそのまま繰り返すように見える。

チャットボットに企業の返品ポリシーを尋ねるとしよう。チャットボットが知らなければ、あなたに知らせるはずだ。しかし、それが過剰なものであれば、似たような会社のポリシーを返すかもしれない。

悪いプロンプティング

企業は、AIはそのインプットと同じくらい良いものでしかないという認識のもと、迅速なエンジニアリングの証明書を発行している。

よく練られたプロンプトは、的確に表現され、ニッチな用語を避け、必要な文脈をすべて提供している。

なぜなら、幻覚は多くの低確率出力の端で起こるからである。

"サメ女の筋書きは？"と聞いたとする。さて、人間は "huh,shark girl." と考える。統計の世界では、次のような可能性がある：

• The Adventures of Sharkboy and Lavagirl』（シャークボーイとラバガールの冒険）-2005年に公開された子供向け映画で、似たような名前でかなり人気がある。
• 2024年のホラー／スリラー『シャーク・ガール』-人気はないが、より新しく、より正確だ。
• 今年初頭に出版された同名の児童書--これはモデルが索引をつけたとかつけないとか。

これらはいずれも明らかな選択ではないため、1つのトピックや物語へのこだわりが少なく、「平坦な」確率分布となる。より効果的なプロンプトは、コンテキストを提供すること、つまり、ユーザーがどの例を参照しているかを明確にすることである。

この曖昧さと余分な関連性のスープは、サメに関連したストーリーのでっち上げの一般的なプロットという、ただそれだけの反応を生み出すかもしれない。

幻覚の可能性を低くすることは、不確実性を低くすることだ。

AI幻覚の種類

ここまで、大まかに幻覚について話してきた。現実には、AIのほぼすべての側面に触れている。しかし、わかりやすくするために、さまざまなカテゴリーに分けて考えてみた方がいいだろう。

事実誤認

イチゴの例はここに当てはまる。事実でない記述の細部に誤りがある。ある出来事が起こった年、ある国の首都、統計の数字などである。

特に、正確な数字のような、人間があまり覚えていないような細部に関しては。

捏造されたコンテンツ

2023年、グーグルのバードは、ジェームズ・ウェッブ望遠鏡が太陽系外惑星の写真を初めて撮影したと虚偽の報告をした。これは技術的な不正確さの問題ではなく、単なる虚偽だった。

これらは、上記のような大胆な主張の場合もあるが、それ以上に、どこにも行かないURLや、でっち上げのコード・ライブラリや関数として表示されることが多い。

事実誤認と捏造の境界線が必ずしも明確でないことは注目に値する。

ある研究者について議論しているとしよう。その研究者の論文を引用するが、年号を間違えれば事実誤認となる。もし名前を間違えたら？名前と 年は？

誤った情報

これは先の2つのカテゴリーのいずれにも該当するが、出所がより明らかな偽情報を指す。

GoogleのAIが、ピザのりと石を食べることを推奨したのは有名な話だが、これはその好例だ。ソースは明らかに風刺的で、The Onionによって書かれた一般的に無害なRedditのコメントだが、モデルのトレーニングはそれを考慮していなかった。

AI幻覚のリスク

1.信頼の喪失

AIに仕事を任せる自由はありがたいが、信頼を犠牲にしてはならない。

Cursor AIが最近起こした災難-カスタマーサービスのボットが制限的なポリシーを考案した-は、その信頼性を疑問視し、多くのユーザーを契約解除に追い込んだ。

2.コスト

AIは多くのビジネスで前面に出てきており、それは良いことではあるが、一歩間違えれば大きな代償を払うことになる。

グーグルのジェームス・ウェッブの幻覚は、数時間のうちにアルファベットの株価に1000億ドルの下落をもたらした。しかもそれは、モデルの再トレーニングにかかるコストの前の話だ。

3.有害な誤報

私たちは接着剤ピザの不合理さを笑うが、誤解を招く医療用用量はどうだろうか？

私は、AIからの迅速な回答のために、警告だらけの細かい活字を読むことと引き換えにする第一人者だ。しかし、もしそれが間違っていたら？ほぼ間違いなく、考えられるすべての病状を説明することはできないだろう。

3.セキュリティとマルウェア

前述したように、AIはしばしばコードライブラリの名前をでっち上げる。存在しないライブラリをインストールしようとしても、何も起こらない。

今、ハッカーがコードにマルウェアを埋め込み、一般に認知されているライブラリの名前でアップロードしたとしよう。そのライブラリをインストールすると、💨パッと💨：ハッキングされる。

これは存在し、スロップスクワッティングと呼ばれている。

グロテスクな名前はさておき、インストールするものには細心の注意を払い、エキゾチックな響きを持つライブラリの名前を再確認しておいて損はない。

AIの幻覚を防ぐためのステップ

モデルをトレーニングしないのであれば、データやアーキテクチャの側でできることはほとんどない。

良いニュースは、あなたが取ることができる予防措置がまだあるということであり、幻覚のないAIを出荷する上で大きな違いを生む可能性があるということだ。

信頼できるモデルとプラットフォームを選ぶ

あなたは自己責任ではない。AI企業は信頼を維持することにあらゆる関心を持っており、それは幻覚を見ないことを意味する。

AIを使って何をするかにもよるが、ほとんどの場合、少なくともいくつかの選択肢があり、優れたAIプラットフォームはこれを利用しやすくしている。このようなプラットフォームは、どのように幻覚を軽減するかについて透明であるべきだ。

RAG（リトリーバル・アグメンテッド・ジェネレーション）を使う

モデル自身の知識に依存させない。モデルにRAGを装備することで、情報が入手可能であり、どこでそれを見つけることができるかを明確にすることができる。

効果的なRAGの実装方法について簡単な説明があるプラットフォーム上でAIを動かすのがベストだ。

徹底した指示の追加

一度聞いたことがあるなら、何度も聞いたことがあるだろう。

「ユーザーの質問に答える」だけでは成功は保証されない。しかし

# 指示

よくある質問(FAQ)を参照してください。そこに答えが載っていない場合： ↪C_200D↩ その答えは、FAQに載っています。

 * その情報が利用できないことを丁寧にユーザーに伝えてください。
 * 人間のエージェントに会話をエスカレートすることを申し出る。

がエージェントを牽制する。しっかりとしたガードレールで明確なプロンプトを出すことが、不正なエージェントに対する最善の防御策なのだ。

人間の検証

エスカレーションについて言えば、AIの欠点を検査し、評価し、つぶすことのできる人間を用意しておくことだ。

会話をエスカレートさせたり、遡及的に検証したりする機能によって、何が機能し、何が幻覚の危険性があるのかを把握することができる。ヒューマン・イン・ザ・ループ（AI主導のワークフローを人間が監視すること）は、ここでは必須である。

幻覚のないAIを今すぐ使おう

AIの信頼性をめぐる不確実性が、企業をデジタル変革から遠ざけているのかもしれない。

BotpressRAG機能、ヒューマンインザループの統合、徹底したセキュリティシステムにより、AIは安全で信頼できるものとなっています。エージェントはあなたのために働くのです。

今日から始めよう。無料です。

よくあるご質問

1.AIの反応が幻覚かどうか、予備知識なしに見分ける方法は？

AIの反応が予備知識のない幻覚かどうかを見分けるには、極端に具体的な主張、自信過剰な表現、独自に検証できない名前、統計、引用などの兆候を探す。確信が持てない場合は、AIに出典を示すよう促すか、信頼できる外部参考文献と照合する。

2.大規模言語モデルLLMs）におけるAIの幻覚はどの程度一般的か？

AIの幻覚は、大規模な言語モデルでよく見られるものである。なぜなら、彼らは事実の検証ではなく、確率に基づいてテキストを生成するからである。GPTClaude 3.5のような高度なモデルでさえ、特にニッチなトピックについて質問されたり、文脈の少ない状況で質問されたりすると、不正確な出力を生成することがある。

3.画像ジェネレーターのような非テキストベースのAIモデルで幻覚は起こりうるか？

そう、幻覚は画像生成モデルでも起こり、多くの場合、出力に非現実的な要素や無意味な要素（例えば、余分な手足や間違った文化的表現など）が含まれ、学習データの偏りやギャップによって引き起こされる。

4.訓練データの偏りにより、特定の言語や文化圏で幻覚が多く見られるのか？

ほとんどのLLMs 、主に英語と西洋中心のデータについて訓練を受けているため、文化的なニュアンスに欠けた回答になってしまうのだ。

5.AIの幻覚がもたらす結果によって最もリスクを負う産業は何か？

ヘルスケア、金融、法律、カスタマーサービスなどの業界は、AIの幻覚によるリスクを最も抱えている。これらの分野では、不正確な出力がコンプライアンス違反、金銭的損失、法的不手際、あるいはユーザーの信頼やブランド評価の毀損につながる可能性があるからだ。