日常的に使用していても、どのように機能するのか疑問に思うことがあるかもしれない。 ChatGPTを疑問に思うかもしれない。
世界で最も人気のあるAIチャットボットの舞台裏を覗いてみよう。
概要ChatGPT 仕組み
20秒しか時間がないのなら、ChatGPT ：
- あなたはリクエストを送る。メールを書いてください』。
- ChatGPT 入力をトークンに分解して処理する。
- NLPを使って入力を分析し、文脈を理解する。
- 学習データから学習したパターンを使って次の単語を予測する。
- アテンション・メカニズムを使って）入力の最も関連性の高い部分に焦点を当てる。
- ChatGPT は、一語一語、完全な応答を生成し、あなたに送り返す。
これらは、ChatGPT 、クエリーを受信し、それに応答する方法の基本的なステップである。
GPT 何の略ですか？
ChatGPT GPT 「generative pre-trained transformer」の略です。この3つの要素がChatGPT 仕組みを理解する鍵となります。
1.ジェネレイティブ
ChatGPT は生成AIモデルであり、テキスト、コード、画像、サウンドを生成することができる。生成的AIの他の例としては、DALL-E のような画像生成ツールやオーディオジェネレーターがある。
2.事前トレーニング
ChatGPT の「事前に訓練された」側面が、インターネット上のすべてを知っているように見える理由だ。GPT モデルは、「教師なし学習」と呼ばれるプロセスで、大量のデータを使って訓練された。
ChatGPT 以前は、AIモデルは教師あり学習で構築されていた。つまり、明確にラベル付けされた入力と出力を与えられ、一方を他方に対応させるように教えられる。このプロセスは、データセットを人間がコンパイルする必要があったため、かなり時間がかかった。
初期のGPT モデルが大規模なデータセットにさらされて訓練されたとき、彼らはさまざまなソースから言語パターンと文脈的意味を吸収した。
これが、ChatGPT が一般知識チャットボットである理由だ。一般に公開される前に、すでに膨大なデータセットで訓練されている。
GPT エンジンをさらに鍛えたい、つまり、組織独自のレポートを書くなど、特定のタスクに特化したいユーザーは、 LLMs を カスタマイズするテクニックを使うことができます。
3.変圧器
トランスフォーマーは、Vaswaniらによる2017年の論文「Attention is All You Need」で紹介されたニューラルネットワーク・アーキテクチャーの一種である。トランスフォーマー以前は、リカレント・ニューラル・ネットワーク（RNN）や長期短期記憶（LSTM）ネットワークのようなモデルが、テキストのシーケンスの処理によく使われていた。
RNNやLSTMネットワークは、人間が行うのと同じように、テキスト入力を順次読み取っていく。しかし、トランスフォーマー・アーキテクチャーは、文中の各単語を同時に処理して評価することができるため、たとえ文の途中や末尾にある単語であっても、より関連性の高い単語としてスコアリングすることができる。これは自己注意メカニズムとして知られている。
この文章を見てみよう：「ネズミはケージに入りきらなかった。
トランスフォーマーは、「マウス」という単語を「ケージ」よりも重要だと採点し、文中の「それ」がマウスを指していることを正しく認識することができる。
しかし、RNNのようなモデルは、'it'が最も最近処理された名詞であることから、'it'をケージであると解釈するかもしれない。
トランスフォーマー」としての側面は、ChatGPT 、文脈をよりよく理解し、前任者たちよりもインテリジェントな応答を生成することを可能にする。
自然言語処理
ChatGPT が魔法のように見えるのは、自然言語処理を使っているからだ。人間の自然な言葉を処理し、理解することができるため、私たちとチャットでやり取りすることができるのだ。
自然言語処理とは何か？
自然言語処理（NLP）は人工知能の一分野であり、自然言語を介したコンピュータと人間の相互作用に焦点を当てている。
機械が人間の言葉を理解し、解釈し、意味のある有用な形で生成することを可能にする。
NLP vs NLU vs NLG
自然言語処理（NLP）は、自然言語理解（NLU）や自然言語生成（NLG）など、さまざまな下位分野を含む幅広い分野である。
NLPは包括的な領域であり、NLUとNLGはその中の専門領域である。なぜなら、自然言語処理には、前後の会話における理解と生成の両方が必要だからだ。
NLPはどのように機能するのか？
NLUは人間の言葉を分解し、その意味と意図を解釈する。NLUがどのように機能するか、順を追って説明しよう：
- テキストは、不要な要素（句読点やストップワードなど）を取り除くために前処理される。
- このシステムは、テキストからエンティティ、キーワード、フレーズなどの主要なコンポーネントを識別する。
- 文の構造を分析し、単語と概念の関係を理解する。
- NLUモデルは、認識された要素を特定の意図や目標にマッピングする。
- NLUエンジンは、コンテキストとユーザーとのインタラクション履歴に基づいて理解を洗練させる。
このシステムは、適切な行動や反応を引き起こすことができる構造化された出力を提供する。
ChatGPT トレーニングプロセス
ChatGPT は、事前学習と微調整という2段階のプロセスで学習される。
事前トレーニング
まず、AIモデルは書籍やウェブサイト、その他のファイルから得られる膨大な量のテキストデータにさらされる。
事前学習中、モデルは文中の次の単語を予測することを学習し、言語のパターンを理解するのに役立つ。これによって、言語のパターンを理解することができるようになるのだ。
微調整
事前学習の後、モデルはより具体的なデータセットで微調整される。ChatGPT の場合、これには会話用にキュレーションされたデータセットが含まれる。
このステップの重要な部分は、人間によるフィードバックからの強化学習（Reinforcement Learning from Human Feedback：RLHF）で、人間のトレーナーがモデルの応答をランク付けする。このフィードバック・ループは、ChatGPT 、適切で役に立ち、文脈に即して正確な応答を生成する能力を向上させるのに役立つ。
ChatGPT 主要用語
トークン
モデルが処理するテキストの単位（単語または単語の一部）。ChatGPTモデルの入力と出力は、効率的な計算のためにトークン化される。
ゼロショット学習
一般的な知識を頼りに、特別に訓練されていないタスクを実行するモデルの能力。
ワンショット学習ではモデルに1つの例を与えるが、nショット学習ではモデルに多くの例を与えて学習させる。
アテンション・メカニズム
トランスフォーマーモデルのコンポーネントで、応答を生成する際に入力テキストのさまざまな部分に焦点を当てることができる。
幻覚
AIモデルが「幻覚」を見るのは、誤った情報や無意味な情報を生成するときである。幻覚は、検索補強型生成（RAG）のような戦略で軽減することができる。
思考の連鎖
モデルが一歩一歩考えるのを助け、複雑なプロンプトやタスクを処理する能力を向上させる方法。
ChatGPT モデルの中には、最新のOpenAI o1 モデルのように、この戦略を自動的に備えているものもある。しかし、どのバージョンでも、 思考の連鎖推論を行うように要求することができる：推論をステップ・バイ・ステップで説明するように要求するだけでよい。
事前トレーニング
初期段階では、モデルは膨大なデータセットで訓練され、言語パターンを学習してから、特定のタスクのために微調整される。
微調整
特定のユースケースにおける性能を向上させるために、より狭いデータセットやタスクでモデルを改良するプロセス。
コンテキストウィンドウ
応答生成時にモデルが考慮できる入力テキストの量の制限。
コンテキストウィンドウが低いと、長いレポートを送って要約を求めることができない。
ChatGPTカスタマイズ方法
ChatGPT動かすGPT エンジンのように、強力なLLMsカスタマイズする方法はいくつかあります。自分のLLM エージェントをカスタマイズするのは、思っているほど難しくありません。
カスタムGPTs
OpenAI では、GPTs を自分好みにカスタマイズできる。カスタムGPT 、特定のボードゲームのルールを学んだり、ロックメタルバンドのポスターをデザインしたり、AIの概念を教えたりすることができる。
カスタムAIエージェント
AI技術の進歩により、LLM を搭載した独自のAIエージェントを簡単に（しかも無料で）作成することができる。
低コードのドラッグ＆ドロップ・ビルダーから高度なコーディング・エコシステムまで、あらゆるユースケースとスキルレベルに対応する優れたAI構築プラットフォームがある。
独自のLLM-poweredエージェントを構築することは、会議をスケジュールし、週次測定基準レポートを生成するオーダーメイドのAIアシスタントを設計することができることを意味します。あるいは、顧客サポートAIエージェントを構築し、そのAIエージェントを次のような環境で展開することもできます。 WhatsApp.可能性には事欠かない。
GPTチャットボットを無料で構築する
ChatGPT は汎用のチャットボットだが、OpenAI の強力なGPT エンジンを使って、独自のカスタムAIチャットボットを構築することができる。
独自のカスタムチャットボットで最新のLLMs のパワーを活用しましょう。
Botpress は、柔軟で無限に拡張可能なAIチャットボット・プラットフォームです。あらゆるユースケースに対応したAIエージェントやチャットボットを構築することができます。
チャットボットを任意のプラットフォームやチャネルに統合するか、事前に構築された統合ライブラリから選択します。Botpress YouTube チャンネルのチュートリアル、またはBotpress Academy の無料コースで始めましょう。
今日から始めよう。無料です。
