Was Chatbot-Autoren über den Algorithmus zur Verarbeitung natürlicher Sprache wissen müssen

Ein üblicher Schritt bei der Erstellung eines Bots ist die Definition von "Intents".

Eine Absicht könnte lauten: "Mein Passwort zurücksetzen", "Einen Flug buchen" oder "Den Support kontaktieren". Der Bot-Entwickler muss mehrere Phrasen in die Software eingeben, die alle die gleiche Bedeutung wie die Absicht haben. Zum Beispiel wäre "Ich möchte nach Paris fliegen" eine solche Phrase für die Absicht "einen Flug buchen".

In der Regel bitten Bot-Entwicklungsplattformen die Nutzer, viele Sätze für eine bestimmte Absicht einzugeben. Diese Phrasen sind Trainingsdaten für den Algorithmus zur Verarbeitung natürlicher Sprache (NLP).

Der NLP-Algorithmus ist ein maschineller Lernalgorithmus, der sich selbst auf die Daten trainiert, um in der Lage zu sein, Phrasen mit derselben Bedeutung, aber unterschiedlichen Wörtern (im Vergleich zu den Trainingsdaten) zu erkennen.

Der NLP-Algorithmus verwendet die vom Bot-Entwickler zur Verfügung gestellten Absichtsdaten sowie einen riesigen Datenkorpus zur Sprache (auf dem er zuvor trainiert wurde), um sein internes Modell zu kalibrieren, damit es neue Sätze erkennen kann.

Je mehr Beispiele der Chatbot-Entwickler dem NLP-Algorithmus vorgibt, desto genauer wird er in der Lage sein, die gleiche Bedeutung in anderen Sätzen mit anderem Wortlaut zu erkennen. Das ist zumindest die Botschaft an die Bot-Entwickler.

Das Problem ist, dass nicht alle Trainingsdaten gleich sind. Die Qualität der Daten ist ebenso wichtig wie ihre Quantität.

‍

Stellen Sie sich zum Beispiel vor, ich möchte eine Absicht namens "Mein Passwort zurücksetzen" erstellen.

Ein Bot-Autor könnte damit beginnen, die folgenden Sätze zu schreiben:

Mein Passwort zurücksetzen

Ich habe mein Passwort vergessen

Mein Passwort funktioniert nicht

Neues Passwort bitte

Passwort-Problem

Etc.

Das Problem bei der obigen Darstellung ist, dass alle Sätze das gleiche Wort "Passwort" enthalten. Das bedeutet, dass der Algorithmus, wenn er auf diese Daten trainiert wird, die Regel erkennt, dass, wenn das Wort "Passwort" in der Phrase vorkommt, die Absicht ist, "mein Passwort zurückzusetzen". Das ist natürlich falsch. Menschen können viele andere Sätze ohne das Wort "Passwort" sagen, die die gleiche Bedeutung haben wie "Mein Passwort zurücksetzen". Es gibt auch viele Ausdrücke mit dem Wort "Passwort", die nicht "mein Passwort zurücksetzen" bedeuten.

In der Welt der Algorithmen wird dieses Problem als Überanpassung an die Trainingsdaten bezeichnet. Der Algorithmus hat sich zu sehr an das Wort "Passwort" angepasst und "glaubt" daher, dass jeder Satz mit dem Wort "Passwort" "mein Passwort zurücksetzen" bedeutet.

‍

Es gibt weitere Beispiele für dieselbe Absicht. Zum Beispiel könnte der Bot-Entwickler die folgenden Sätze eingeben:

Meine Anmeldedaten funktionieren nicht

Meine Anmeldung funktioniert nicht

Mein Passwort funktioniert nicht

Mein Nutzername funktioniert nicht.

Etc.

Dies ist natürlich ein extremeres Beispiel für das Problem, aber das Muster ist bei der Erstellung von Trainingsdaten üblich. Dies führt wiederum dazu, dass der Algorithmus zu stark an die Daten angepasst wird, aber diesmal an die Formulierung "funktioniert nicht".

‍

Die Lösung ist hoffentlich inzwischen offensichtlich. Jede Phrase in den Trainingsdaten muss sich so weit wie möglich von den anderen Phrasen im Datensatz unterscheiden. Zum Beispiel:

Meine Anmeldedaten funktionieren nicht.

Ich brauche ein neues Passwort.

Wie kann ich mein Anmeldeproblem lösen?

Wer kann mir bei der Anmeldung im System helfen?

Etc.

Natürlich ist die Erstellung eines solchen Datensatzes mit mehr Aufwand verbunden. Es kann sogar hilfreich sein, einen Thesaurus offen zu haben, um Synonyme zu finden, damit man Ideen für Formulierungen bekommt.

Die andere Möglichkeit für Bot-Entwickler, dieses Problem zu überwinden, besteht darin, dass sie Zugang zu Chat-Daten des Kundendienstes haben, die viele Beispiele dafür liefern, wie ein echter Kunde dieselbe Frage stellen würde. Diese Daten können äußerst wertvoll sein.

Es stellt sich die Frage, wann NLP-Algorithmen in der Lage sein werden, mit einem kleinen Trainingsdatensatz gute Leistungen zu erbringen. Es wäre auf jeden Fall besser, wenn der Bot mit nur einem kleinen Datensatz perfekt funktionieren würde. Daran arbeiten die Forscher auf jeden Fall, denn es würde nicht nur den Zeit- und Arbeitsaufwand für die Erstellung von chatbots verringern, sondern auch die Qualität erheblich verbessern.

Der NLP-Algorithmus ist für die meisten Bot-Entwickler eine Blackbox. Es ist jedoch wichtig, dass sie die Grundlagen der Funktionsweise des Algorithmus verstehen, damit sie wissen, welche Art von Trainingsdaten (Absichtsdaten) sie dem Algorithmus zur Verfügung stellen müssen, um die besten Ergebnisse zu erzielen.

‍