チャットボットの作者が知っておくべき自然言語処理アルゴリズムについて

ボットを構築する際の一般的なステップの1つは、「インテント」を定義することだ。

インテントは、「パスワードをリセットする」、「フライトを予約する」、「サポートに連絡する」などである。ボット開発者は、インテントと同じ意味を持つ複数のフレーズをソフトウェアに入力する必要がある。例えば、「パリに飛びたい」というフレーズは、「フライトを予約する」というインテントのためのフレーズの1つである。

一般的に、ボット開発プラットフォームは、ユーザーに与えられた意図に対して多くのフレーズを入力するよう求める。これらのフレーズは、自然言語処理（NLP）アルゴリズムのトレーニングデータとなります。

NLPアルゴリズムは、（学習データに対して）同じ意味だが異なる単語を含むフレーズを認識できるようにデータ上で学習する機械学習アルゴリズムである。

NLPアルゴリズムは、ボット開発者から提供されたインテント・データと、その言語に関する膨大なデータ・コーパス（以前に訓練されたもの）を使用して、新しいフレーズを認識できるように内部モデルを較正する。

チャットボット開発者がNLPアルゴリズムに与える例が多ければ多いほど、言い回しが異なる他のフレーズでも同じ意味をより正確に認識できるようになる。少なくとも、これはボット開発者に与えられたメッセージだ。

問題は、すべてのトレーニングデータが同じように作られているわけではないということだ。データの質は量と同じくらい重要だ。

‍

例えば、「reset my password」というインテントを作成したいとします。

ボット作者は次のようなフレーズを作り始めるかもしれない：

パスワードをリセットする

パスワードを忘れてしまった

パスワードが使えません

新しいパスワードをお願いします

パスワードの問題

などなど。

上記の問題は、すべてのフレーズに同じ単語「password」が使われていることである。つまり、アルゴリズムがこのデータで学習するとき、「パスワード」という単語がフレーズの中にあれば、その意図は「パスワードをリセットする」であるというルールを判別してしまうのだ。これはもちろん間違っている。パスワード」という単語がなくても、「パスワードをリセットする」と同じ意味を持つフレーズは他にもたくさんある。また、「パスワードをリセットする」という意味ではない、「パスワード」という言葉が入ったフレーズもたくさんあります。

アルゴリズムの世界では、この問題を学習データへのオーバーフィットと呼ぶ。アルゴリズムは「パスワード」という単語に過剰適合してしまったため、「パスワード」という単語が含まれるフレーズはすべて「パスワードをリセットする」という意味だと「信じて」いる。

‍

同じ意図の例は他にもある。例えば、ボット開発者は次のようなフレーズを入力することができる：

認証が機能しない

ログインできない

パスワードが使えない

ユーザー名が使えないんだ。

などなど。

もちろん、これは問題のより極端な例であるが、訓練データを作成する際によく見られるパターンである。この場合もアルゴリズムがデータにオーバーフィットすることになるが、今回は「うまくいっていない」という表現になる。

‍

解決策はもう明らかだろう。学習データの各フレーズは、データセットの他のフレーズとできるだけ異なる必要がある。例えば

証明書が使えないんだ。

パスワードのリセットをお願いします。

ログインの問題を解決するには？

システムへのサインインを手伝ってくれる人はいますか？

などなど。

もちろん、上記のようなデータセットを作成するには、より多くの労力がかかる。フレーズのアイデアを刺激する目的で、類義語を探すために類語辞典を開いておくことも役立つだろう。

ボット開発者がこの問題を克服するもう一つの方法は、実際の顧客が同じ質問をするすべての方法の多くの例を提供する顧客サービスのチャットデータにアクセスすることです。このデータは非常に貴重です。

NLPアルゴリズムが、小さなトレーニングデータセットだけでうまく機能するようになるのはいつなのかという疑問がある。ボットが小さなデータセットだけで完璧に動作するようになる方がいいに決まっている。これは、 chatbots を 作成するのに必要な時間と労力を削減するだけでなく、その品質を大幅に向上させることができるため、研究者によって間違いなく取り組まれていることです。

NLPアルゴリズムは、ほとんどのボット開発者にとってブラックボックスです。しかし、アルゴリズムの仕組みの基本を理解し、アルゴリズムにどのような学習データ（インテント・データ）を提供すれば最良の結果が得られるかを知ることは重要です。

‍