AIの幻覚：AI幻覚とは何か、なぜ問題なのか、そして何ができるのか

質の低いトレーニングデータ

ChatGPTや同様のLLMs 、大量のデータで訓練される。このデータは豊富かもしれないが、以下の理由により不完全である：

• 特定のトピックにおけるギャップ
• 現実の偏見を反映する
• 意図的な誤報または無記名の風刺
• 偏った、つまり不均衡な、あるいは「片寄った」データ。

ギリシャ神話の1神を除くすべての神についての情報をモデルに学習させたシナリオを考えてみよう。

愛、倫理、裏切りといったギリシア神話的なトピックを統計的に結びつける能力があるため、統計モデルから「ありそうだ」と判断したでっち上げの神話をつなぎ合わせてしまう可能性がある。

これは画像生成においても明らかで、女性を被写体とするプロンプトの多くは、超セクシュアルな画像を生成する。ある特定のタイプの描写への偏りが、生成される画像の種類を規定している。

ストロベリーのスペルは、英語を母国語としない人たちが苦手とするダブルRの議論の文脈で学習データに登場した可能性が高い。この場合、数字の2や"double "という単語がスペルに関連して出てきた可能性が高い。

その一方で、3Rがあることを示すデータがあったとは考えにくい。

プロンプトは「どんな状況下で、誰かが単語を書いて、その綴りを尋ねるだろうか？

モデル・アーキテクチャと生成方法

モデルは、驚異的に複雑なニューラルネットワークアーキテクチャから構築されている。わずかな違いは、モデルがトレーニングデータや入力プロンプトと 相互作用する方法に影響を与える。幻覚を軽減するモデルの能力は、厳密な研究と テストを通じて 少しずつ改善されていく。

その上、生成はどのように行われるのか。単語ごとに（実際には単語単位で）、モデルが後に続く可能性の高い単語を予測する。だから

"素早い茶色の狐は怠け者の○○を飛び越える"

次の単語は「犬」である可能性が高い。しかし、他の単語もありうる。そして、最も可能性の高い次の単語を決定することだけに基づいた生成は、面白みのない、予測可能な結果を生む。

つまり、エキサイティングでありながら首尾一貫した反応を保つためには、独創的なサンプリング方法を採用しなければならない。そうすることで、時には事実が抜け落ちてしまうこともある。

オーバーフィット

オーバーフィッティングとは、モデルがデータを忠実に予測するように学習され、新しい入力に対して汎化できないことである。

だから、もし私が（母が言うように）モデルだとしたら、犬をそう見分けることができれば、私はきちんと訓練されたモデルということになる：

毛むくじゃらで、垂れ耳で、遊び好きで、小さな茶色のボタン鼻。

しかし、もし私が彼らをこのようにしか認識していないとしたら、私はフィットしすぎているだろう：

顎の下に茶色の点があり、"フランク "と名乗る。

LLMの文脈では LLMLLMの文脈では、答えがわからないところで手を引くのではなく、学習データで見た情報をそのまま繰り返すように見える。

チャットボットに企業の返品ポリシーを尋ねるとしよう。チャットボットが知らなければ、あなたに知らせるはずだ。しかし、それが過剰なものであれば、似たような会社のポリシーを返すかもしれない。

悪いプロンプティング

企業は、AIはそのインプットと同じくらい良いものでしかないという認識のもと、迅速なエンジニアリングの証明書を発行している。

よく練られたプロンプトは、的確に表現され、ニッチな用語を避け、必要な文脈をすべて提供している。

なぜなら、幻覚は多くの低確率出力の端で起こるからである。

"サメ女の筋書きは？"と聞いたとする。さて、人間は "huh,shark girl." と考える。統計の世界では、次のような可能性がある：

• The Adventures of Sharkboy and Lavagirl』（シャークボーイとラバガールの冒険）-2005年に公開された子供向け映画で、似たような名前でかなり人気がある。
• 2024年のホラー／スリラー『シャーク・ガール』-人気はないが、より新しく、より正確だ。
• 今年初頭に出版された同名の児童書--これはモデルが索引をつけたとかつけないとか。

これらはいずれも明らかな選択ではないため、1つのトピックや物語へのこだわりが少なく、「平坦な」確率分布となる。より効果的なプロンプトは、コンテキストを提供すること、つまり、ユーザーがどの例を参照しているかを明確にすることである。

この曖昧さと余分な関連性のスープは、サメに関連したストーリーのでっち上げの一般的なプロットという、ただそれだけの反応を生み出すかもしれない。

幻覚の可能性を低くすることは、不確実性を低くすることだ。

事実誤認

イチゴの例はここに当てはまる。事実でない記述の細部に誤りがある。ある出来事が起こった年、ある国の首都、統計の数字などである。

特に、正確な数字のような、人間があまり覚えていないような細部に関しては。

捏造されたコンテンツ

2023年、グーグルのバードは、ジェームズ・ウェッブ望遠鏡が太陽系外惑星の写真を初めて撮影したと虚偽の報告をした。これは技術的な不正確さの問題ではなく、単なる虚偽だった。

これらは、上記のような大胆な主張の場合もあるが、それ以上に、どこにも行かないURLや、でっち上げのコード・ライブラリや関数として表示されることが多い。

事実誤認と捏造の境界線が必ずしも明確でないことは注目に値する。

ある研究者について議論しているとしよう。その研究者の論文を引用するが、年号を間違えれば事実誤認となる。もし名前を間違えたら？名前と 年は？

誤った情報

これは先の2つのカテゴリーのいずれにも該当するが、出所がより明らかな偽情報を指す。

GoogleのAIが、ピザのりと石を食べることを推奨したのは有名な話だが、これはその好例だ。ソースは明らかに風刺的で、The Onionによって書かれた一般的に無害なRedditのコメントだが、モデルのトレーニングはそれを考慮していなかった。

1.信頼の喪失

AIに仕事を任せる自由はありがたいが、信頼を犠牲にしてはならない。

Cursor AIが最近起こした災難-カスタマーサービスのボットが制限的なポリシーを考案した-は、その信頼性を疑問視し、多くのユーザーを契約解除に追い込んだ。

2.コスト

AIは多くのビジネスで前面に出てきており、それは良いことではあるが、一歩間違えれば大きな代償を払うことになる。

グーグルのジェームス・ウェッブの幻覚は、数時間のうちにアルファベットの株価に1000億ドルの下落をもたらした。しかもそれは、モデルの再トレーニングにかかるコストの前の話だ。

3.有害な誤報

私たちは接着剤ピザの不合理さを笑うが、誤解を招く医療用用量はどうだろうか？

私は、AIからの迅速な回答のために、警告だらけの細かい活字を読むことと引き換えにする第一人者だ。しかし、もしそれが間違っていたら？ほぼ間違いなく、考えられるすべての病状を説明することはできないだろう。

3.セキュリティとマルウェア

前述したように、AIはしばしばコードライブラリの名前をでっち上げる。存在しないライブラリをインストールしようとしても、何も起こらない。

今、ハッカーがコードにマルウェアを埋め込み、一般に認知されているライブラリの名前でアップロードしたとしよう。そのライブラリをインストールすると、💨パッと💨：ハッキングされる。

これは存在し、スロップスクワッティングと呼ばれている。

グロテスクな名前はさておき、インストールするものには細心の注意を払い、エキゾチックな響きを持つライブラリの名前を再確認しておいて損はない。

信頼できるモデルとプラットフォームを選ぶ

あなたは自己責任ではない。AI企業は信頼を維持することにあらゆる関心を持っており、それは幻覚を見ないことを意味する。

AIを使って何をするかにもよるが、ほとんどの場合、少なくともいくつかの選択肢があり、優れたAIプラットフォームはこれを利用しやすくしている。このようなプラットフォームは、どのように幻覚を軽減するかについて透明であるべきだ。

RAG（リトリーバル・アグメンテッド・ジェネレーション）を使う

モデル自身の知識に依存させない。モデルにRAGを装備することで、情報が入手可能であり、どこでそれを見つけることができるかを明確にすることができる。

効果的なRAGの実装方法について簡単な説明があるプラットフォーム上でAIを動かすのがベストだ。

徹底した指示の追加

一度聞いたことがあるなら、何度も聞いたことがあるだろう。

「ユーザーの質問に答える」だけでは成功は保証されない。しかし

# 指示

よくある質問(FAQ)を参照してください。そこに答えが載っていない場合： ↪C_200D↩ その答えは、FAQに載っています。

 * その情報が利用できないことを丁寧にユーザーに伝えてください。
 * 人間のエージェントに会話をエスカレートすることを申し出る。

がエージェントを牽制する。しっかりとしたガードレールで明確なプロンプトを出すことが、不正なエージェントに対する最善の防御策なのだ。

人間の検証

エスカレーションについて言えば、AIの欠点を検査し、評価し、つぶすことのできる人間を用意しておくことだ。

会話をエスカレートさせたり、遡及的に検証したりする機能によって、何が機能し、何が幻覚の危険性があるのかを把握することができる。ヒューマン・イン・ザ・ループ（AI主導のワークフローを人間が監視すること）は、ここでは必須である。