Jak zbudować chatbota AI po arabsku

Arabski chatbot to program, który potrafi rozumieć i analizować treści w języku arabskim. Dziś możemy symulować i przetwarzać rozmowy w języku arabskim między komputerem a człowiekiem.

Ostatnie przełomy w technologii przetwarzania języka naturalnego (NLP) sprawiają, że tworzenie arabskich chatbotów jest prostsze niż kiedykolwiek. Nowa technologia arabskich chatbotów AI wykorzystuje uczenie maszynowe do zrozumienia struktury języka oraz znaczenia słów.

Stwórz chatbota AI po arabsku

Arabski to czwarty najczęściej używany język w internecie, ale jednocześnie jeden z najtrudniejszych do nauki dla osób niebędących jego rodzimymi użytkownikami.

Wynika to z kilku różnic w porównaniu do większości innych języków.

• Jest zapisywany od prawej do lewej.
• Używa własnego zestawu znaków, które są nieznane osobom mówiącym innymi językami.
• Samogłoski są pomijane w piśmie. Ma złożoną i bogatą strukturę gramatyczną – na przykład zaimki często są wbudowane w same słowa.
• Język arabski jest znacznie bardziej elastyczny niż większość innych języków – zdania nie muszą mieć typowego dla angielskiego szyku podmiot-orzeczenie.
• Wszystko to sprawia, że nauka arabskiego jest trudniejsza i wiąże się z większym ryzykiem niejednoznaczności niż w przypadku większości popularnych języków.
  

Oprócz powyższego, istnieje wiele odmian i dialektów arabskiego. Są one ze sobą powiązane, ale nie pokrywają się. W praktyce jeden dialekt może być niezrozumiały dla osoby mówiącej innym dialektem – można więc uznać je za odrębne języki.
‍
Wszystkie te czynniki sprawiają, że arabski jest trudniejszy do nauki dla ludzi.
‍
Czy oznacza to jednak, że maszyny również mają trudniej? Nietrudno się domyślić, że odpowiedź brzmi: tak.

Arabski chatbot: wyzwania w przetwarzaniu języka naturalnego

Wszystko powyższe stanowi wyzwanie dla arabskiego przetwarzania języka naturalnego (NLP). Pierwszym krokiem każdego algorytmu NLP jest zrozumienie języka, czyli podzielenie zdań na jednostki znaczeniowe. Ten proces nazywa się tokenizacją, a każda taka jednostka to token.

Im bardziej uporządkowany i systematyczny jest język, tym łatwiej go tokenizować.

Te same wyzwania, które utrudniają naukę arabskiego ludziom, sprawiają, że tokenizacja arabskiego jest trudniejsza niż w przypadku większości innych języków.

Zanim zrozumiemy znaczenie najnowszych przełomów, warto wiedzieć, jak wcześniej tworzono modele językowe dla NLP.

W przeszłości

Tokenizacja języka wymagała dużego nakładu pracy ze strony badaczy NLP. Każdy język musiał być tokenizowany osobno i w dużej mierze ręcznie.

To zadanie było szczególnie trudne w przypadku arabskich botów, co łatwo sobie wyobrazić.

Po tokenizacji można było zastosować algorytmy AI do zrozumienia języka, czyli stworzenia mapy znaczeń i powiązań między słowami.

Ten etap mógł być zautomatyzowany, jeśli tokenizacja była niezawodna. Problem polegał jednak na tym, że tokenizacja arabskiego była trudna, więc nawet algorytmy rozumienia musiały być ręcznie dostosowywane razem z tokenizacją.

Efekt końcowy nie był zadowalający. Poziom rozumienia arabskiego był znacznie niższy niż np. angielskiego. Oczywiście, badania nad angielskim były prowadzone intensywniej, co też miało wpływ, ale trudność języka sprawiała, że osiągnięcie dobrych wyników było niemal niemożliwe.

Jak to zwykle bywa wśród badaczy AI, zaczęto się zastanawiać, czy tokenizację da się zautomatyzować za pomocą uczenia maszynowego. Pozwoliłoby to na stworzenie algorytmów niezależnych od języka (tzw. language agnostic), co znacznie przyspieszyłoby i poprawiło proces uczenia AI.

Najnowszy przełom w arabskiej konwersacyjnej AI

I właśnie tutaj nastąpił przełom pod koniec 2018 roku. AI można było trenować po arabsku bez ręcznej ingerencji, a wydajność NLP znacznie się poprawiła.

Platformy arabskich chatbotów natychmiast stały się lepsze, a poziom rozumienia arabskiego przez chatboty dorównał innym językom.

Sam fakt przełomu nie oznaczał jednak natychmiastowej poprawy jakości arabskich chatbotów.

Aby użytkownicy mogli skorzystać z tych korzyści, platformy chatbotów musiały najpierw zaktualizować swoje algorytmy do najnowszych technologii. Ze względu na wcześniejsze inwestycje nie nastąpiło to od razu.

Poza tym, platformy muszą zapewnić wiele funkcji, by arabski chatbot oferował użytkownikom dobrą jakość. Na przykład interfejsy użytkownika muszą być dostosowane do arabskiego – czasem wystarczy poprawne ustawienie wyrównania czatu i kolejności przycisków.

Dlaczego platformy wielojęzyczne są ważne

Praca z wieloma językami na różnych platformach może być trudna. Niektóre platformy wymagają tworzenia osobnych botów dla każdego języka, co jest bardzo nieefektywne.

Dobra platforma powinna być naprawdę wielojęzyczna i umożliwiać wiele tłumaczeń wszystkich treści w interfejsie użytkownika.

Dodatkowo, język powinien być śledzony jako zmienna rozmowy, by AI mogła go poprawnie wykrywać, a projektanci mogli tworzyć logikę zależną od języka.

Poza funkcjami związanymi z językiem, do stworzenia dobrego chatbota niezbędna jest ogólna jakość platformy. Istnieją dwa kluczowe obszary funkcjonalności.

• Pierwszy to ogólna technologia NLU. Dobrze działająca platforma powinna być nie tylko niezależna od języka, ale także wykorzystywać najnowsze technologie NLU i zapewniać wysoką jakość działania. Ważne, by platforma oferowała funkcje związane z NLU (np. zaawansowane uzupełnianie slotów i dopasowywanie intencji w kontekście).
  ‍
• Druga kategoria to ogólna funkcjonalność platformy. Powinna umożliwiać projektantom łatwe tworzenie doskonałych doświadczeń chatbotowych dla użytkowników końcowych, w tym łatwą integrację z systemami zewnętrznymi. Jeśli brakuje jej funkcji lub jest trudna w obsłudze, wsparcie dla arabskiego nie ma większego znaczenia.
  ‍

Ostatecznie jakość doświadczenia użytkownika końcowego zależy bezpośrednio od możliwości narzędzia, którym został stworzony chatbot – od rozumienia języka po graficzne interfejsy.

Często, zwłaszcza w krajach arabskich, firmy wymagają chatbota arabskiego działającego lokalnie (on-premises). To ważny czynnik przy wyborze platformy. Taki chatbot musi być zbudowany na platformie oferującej nie tylko lokalny interfejs, ale także pełny silnik NLU i wytrenowany model językowy na miejscu.

Zbuduj najlepszego arabskiego chatbota

Nawet przy dobrej platformie, stworzenie świetnego chatbota po arabsku to wyzwanie. W świecie AI jest niewielu arabskich specjalistów, więc trudno znaleźć odpowiednie zasoby do projektu. Choć nie trzeba samodzielnie pisać algorytmów NLU (są dostępne od ręki), wyzwaniem może być znalezienie kompetentnych projektantów mówiących wszystkimi językami lub dialektami obsługiwanymi przez chatbota. Dlatego ważne, by platforma umożliwiała łatwą aktualizację i zarządzanie treściami oraz tłumaczeniami przez osoby nietechniczne, ponieważ projektant nie zawsze zna wszystkie języki obsługiwane przez chatbota.

Oczywiście, pojawienie się wysokiej jakości arabskich chatbotów oznacza, że technologia będzie coraz szerzej stosowana. To z kolei rozwiąże problem ograniczonych zasobów i pozwoli potencjalnym klientom lepiej poznać najlepsze praktyki.

Podsumowanie

Przełomy w technologii NLP dotyczą nie tylko arabskich chatbotów, ale także innych zastosowań AI. Obecnie pojawiają się rozbudowane systemy wykorzystujące arabską AI na różne sposoby – od analizy sentymentu w wiadomościach po streszczanie lub generowanie tekstów, które wcześniej mogły być tworzone tylko przez ludzi. Często chatbot pełni rolę interfejsu użytkownika nie tylko dla różnych technologii AI, ale także pomaga użytkownikom korzystać z ekranów innych systemów, takich jak strony internetowe czy aplikacje webowe.

Oczywiście, mimo dużego postępu w arabskim NLU, zawsze można go jeszcze ulepszyć. Badania nad silnikami NLU trwają i z pewnością pojawią się kolejne przełomy. Dopóki NLU nie osiągnie poziomu ludzkiego, zawsze będzie coś do poprawy.

Kolejnym krokiem dla wszystkich silników NLU, niezależnie od języka, jest lepsze radzenie sobie z dialogami wieloetapowymi. Chodzi o to, by człowiek mógł prowadzić z botem rozmowę składającą się z kilku kroków w ramach jednego tematu, a nie tylko zadawać pojedyncze pytania czy polecenia. Z kolei platformy chatbotów powinny ułatwiać tworzenie takich dialogów.

Dialogi wieloetapowe są szczególnie ważne dla interfejsów głosowych, takich jak Alexa.

Choć omawialiśmy przełomy w tokenizacji opartej na uczeniu maszynowym i ich wpływ na arabskie NLP, powiązanym tematem jest transkrypcja mowy na tekst po arabsku. W tym zakresie arabski wciąż pozostaje w tyle za innymi językami, ale mamy nadzieję, że postęp w NLP opisany powyżej pomoże wkrótce zmniejszyć tę różnicę.