ما يحتاج مؤلفو Chatbot إلى معرفته حول خوارزمية معالجة اللغة الطبيعية

إحدى الخطوات الشائعة عند إنشاء روبوت هي تحديد "النوايا".

قد يكون القصد من ذلك هو "إعادة تعيين كلمة المرور الخاصة بي" أو "حجز رحلة" أو "الاتصال بالدعم". يحتاج مطور الروبوت إلى إدخال عبارات متعددة في البرنامج لها نفس معنى النية. على سبيل المثال ، "أريد أن أطير إلى باريس" ستكون إحدى هذه العبارات لنية "حجز رحلة".

بشكل عام ، تطلب منصات تطوير الروبوتات من المستخدمين إدخال العديد من العبارات لغرض معين. هذه العبارات هي بيانات تدريب لخوارزمية معالجة اللغة الطبيعية (NLP).

خوارزمية البرمجة اللغوية العصبية هي خوارزمية تعلم آلي تدرب نفسها على البيانات لتتمكن من التعرف على العبارات التي لها نفس المعنى ولكن بكلمات مختلفة (مقابل بيانات التدريب).

تستخدم خوارزمية البرمجة اللغوية العصبية بيانات النية التي يقدمها مطور الروبوت بالإضافة إلى مجموعة ضخمة من البيانات المتعلقة باللغة (التي تم تدريبها عليها سابقا) لمعايرة نموذجها الداخلي لتكون قادرة على التعرف على العبارات الجديدة.

كلما زاد عدد الأمثلة التي قدمها مطور chatbot لخوارزمية البرمجة اللغوية العصبية ، زادت دقة التعرف على نفس المعنى في عبارات أخرى لها صياغة مختلفة. على الأقل هذه هي الرسالة المعطاة لمطوري الروبوتات.

المشكلة هي أن جميع بيانات التدريب لا يتم إنشاؤها على قدم المساواة. جودة البيانات مهمة بقدر الكمية.

‍

على سبيل المثال ، تخيل أنني أريد إنشاء نية تسمى "إعادة تعيين كلمة المرور الخاصة بي".

قد يبدأ مؤلف الروبوت في إنشاء العبارات التالية:

إعادة تعيين كلمة المرور الخاصة بي

لقد نسيت كلمة المرور الخاصة بي

كلمة المرور الخاصة بي لا تعمل

كلمة مرور جديدة من فضلك

مشكلة كلمة المرور

الخ.

المشكلة في ما سبق هي أن جميع العبارات تستخدم نفس الكلمة "كلمة المرور". هذا يعني أنه عندما تدرب الخوارزمية نفسها على هذه البيانات ، فإنها تميز القاعدة القائلة بأنه إذا كانت كلمة "كلمة المرور" موجودة في العبارة ، فإن القصد هو "إعادة تعيين كلمة المرور الخاصة بي". هذا ، بالطبع ، خطأ. يمكن للأشخاص قول العديد من العبارات الأخرى بدون كلمة "كلمة مرور" التي لها نفس معنى "إعادة تعيين كلمة المرور الخاصة بي". هناك أيضا العديد من العبارات التي تحتوي على كلمة "كلمة مرور" لا تعني "إعادة تعيين كلمة المرور الخاصة بي".

في عالم الخوارزميات ، تسمى هذه المشكلة الملاءمة الزائدة لبيانات التدريب. لقد أفرطت الخوارزمية في استخدام كلمة "كلمة المرور" وبالتالي "تعتقد" أن كل عبارة تحتوي على كلمة "كلمة مرور" تعني "إعادة تعيين كلمة المرور الخاصة بي".

‍

هناك أمثلة أخرى على ذلك لنفس النية. على سبيل المثال ، يمكن لمطور الروبوت إدخال العبارات التالية:

بيانات الاعتماد الخاصة بي لا تعمل

تسجيل الدخول الخاص بي لا يعمل

كلمة المرور الخاصة بي لا تعمل

اسم المستخدم الخاص بي لا يعمل.

الخ.

هذا ، بالطبع ، مثال أكثر تطرفا للمشكلة ، لكن النمط شائع عند إنشاء بيانات التدريب. سيؤدي هذا مرة أخرى إلى زيادة ملاءمة الخوارزمية للبيانات ، ولكن هذه المرة إلى عبارة "لا تعمل".

‍

نأمل أن يكون الحل واضحا الآن. يجب أن تكون كل عبارة في بيانات التدريب مختلفة قدر الإمكان عن العبارات الأخرى في مجموعة البيانات. على سبيل المثال:

بيانات الاعتماد الخاصة بي لا تعمل.

أحتاج إلى إعادة تعيين كلمة المرور.

كيف يمكنني إصلاح مشكلة تسجيل الدخول الخاصة بي؟

من يمكنه مساعدتي في تسجيل الدخول إلى النظام.

الخ.

بالطبع ، يتطلب إنشاء مجموعة بيانات مثل ما سبق المزيد من الجهد. قد يكون من المفيد حتى أن يكون لديك قاموس المرادفات مفتوحا للعثور على مرادفات لغرض تحفيز الأفكار للعبارات.

الطريقة الأخرى التي يتغلب بها مطورو الروبوتات على هذه المشكلة هي من خلال الوصول إلى بيانات دردشة خدمة العملاء التي توفر العديد من الأمثلة على جميع الطرق التي سيطرح بها العميل الحقيقي نفس السؤال. يمكن أن تكون هذه البيانات قيمة للغاية.

هناك سؤال حول متى ستتمكن خوارزميات البرمجة اللغوية العصبية من الأداء الجيد في مجموعة بيانات تدريب صغيرة فقط. سيكون من الأفضل بالتأكيد أن يعمل الروبوت بشكل مثالي باستخدام مجموعة بيانات صغيرة فقط. هذا بالتأكيد شيء يعمل عليه الباحثون لأنه لن يقلل فقط من الوقت والجهد اللازمين خلق chatbots، فإنه سيحسن جودتها بشكل كبير.

خوارزمية البرمجة اللغوية العصبية هي صندوق أسود لمعظم مطوري الروبوتات. ومع ذلك ، من المهم أن يفهموا أساسيات كيفية عمل الخوارزمية حتى يعرفوا نوع بيانات التدريب (بيانات النية) التي يحتاجون إلى تقديمها إلى الخوارزمية لتحقيق أفضل النتائج.

‍