Cara Membina Chatbot AI dalam Bahasa Arab

Chatbot Arab ialah program yang boleh memahami dan menganalisis kandungan Arab. Hari ini, kita boleh meniru dan memproses perbualan manusia dalam bahasa Arab antara komputer dan manusia.

Pencapaian terkini dalam teknologi pemprosesan bahasa semula jadi (NLP) menjadikan penciptaan chatbot Arab lebih mudah. Teknologi chatbot AI Arab yang baru menggunakan pembelajaran mesin untuk memahami struktur bahasa serta memahami "maksud" perkataan.

Cipta Chatbot AI dalam Bahasa Arab

Bahasa Arab ialah bahasa keempat paling banyak digunakan di internet tetapi ia merupakan salah satu bahasa yang paling sukar dipelajari oleh penutur bukan asli.

Ini kerana ia berbeza daripada kebanyakan bahasa lain dalam beberapa aspek.

• Ia ditulis dari kanan ke kiri.
• Ia menggunakan set aksara tersendiri yang tidak dikenali oleh penutur bahasa lain.
• Vokal tidak ditulis. Ia mempunyai struktur tatabahasa yang kompleks dan kaya; contohnya, kata ganti nama sering disatukan dalam perkataan itu sendiri.
• Bahasa Arab jauh lebih fleksibel berbanding kebanyakan bahasa lain kerana ayatnya tidak mengikut susunan subjek-kata kerja seperti dalam bahasa Inggeris.
• Semua ini menjadikannya lebih sukar untuk dipelajari dan meningkatkan risiko kekaburan berbanding kebanyakan bahasa lain.
  

Selain itu, terdapat banyak bentuk dan dialek bahasa Arab. Bentuk dan dialek ini berkait rapat tetapi tidak bertindih. Malah, satu dialek mungkin tidak difahami oleh penutur dialek lain, jadi pada dasarnya ia adalah bahasa yang berbeza.
‍
Semua faktor ini menyebabkan bahasa Arab lebih sukar dipelajari oleh manusia.
‍
Adakah ini bermakna ia juga lebih sukar untuk dipelajari oleh mesin? Tidak mengejutkan, jawapannya ialah ya.

Chatbot Arab: Cabaran Pemprosesan Bahasa Semula Jadi

Semua perkara di atas mencipta cabaran untuk pemprosesan bahasa semula jadi (NLP) dalam bahasa Arab. Langkah pertama bagi mana-mana algoritma NLP ialah memahami bahasa, iaitu memecahkan ayat kepada unit makna yang berasingan. Tugas ini secara rasmi dipanggil penokenan bahasa kerana setiap unit makna dipanggil token.

Semakin sistematik dan teratur sesuatu bahasa, semakin mudah untuk menokenkan bahasa tersebut.

Cabaran yang menjadikan bahasa Arab sukar dipelajari manusia juga menyebabkan ia sukar untuk ditokenkan berbanding kebanyakan bahasa lain.

Sebelum kita memahami kepentingan pencapaian terkini, kita perlu faham dahulu bagaimana model bahasa untuk NLP sebelum ini dibina.

Pada Masa Lalu

Kerja menokenkan bahasa memerlukan banyak campur tangan manual oleh penyelidik NLP. Setiap bahasa perlu ditokenkan secara berasingan dan hampir sepenuhnya secara manual.

Tugas menokenkan bahasa ini amat sukar untuk bot Arab seperti yang anda boleh bayangkan.

Sebaik sahaja bahasa telah ditokenkan, algoritma AI boleh digunakan untuk memahami bahasa, iaitu membina peta makna tentang bagaimana perkataan dalam bahasa itu saling berkaitan.

Langkah memahami bahasa ini boleh diautomasi jika penokenan boleh dipercayai. Namun, masalahnya ialah penokenan untuk bahasa Arab sangat mencabar dan oleh itu, algoritma pemahaman juga perlu dikonfigurasi secara manual bersama penokenan.

Dan hasil akhirnya tidak memuaskan. Tahap pemahaman bahasa Arab berbanding, contohnya, bahasa Inggeris adalah rendah. Sudah tentu, tumpuan penyelidikan lebih banyak diberikan kepada bahasa Inggeris berbanding bahasa Arab, tetapi kesukaran bahasa itu sendiri menjadikan pencapaian hasil yang baik hampir mustahil.

Seperti biasa, penyelidik AI tertanya-tanya sama ada penokenan itu sendiri boleh dilakukan oleh pembelajaran mesin. Ini akan membolehkan algoritma penokenan dan pemahaman menjadi tidak bergantung kepada bahasa (dipanggil language agnostic) dan seterusnya mempercepatkan serta memperbaiki latihan AI untuk sesuatu bahasa.

Pencapaian Terkini dalam AI Perbualan Arab

Inilah akhirnya pencapaian besar yang berlaku pada akhir 2018. AI boleh dilatih dalam bahasa Arab tanpa campur tangan manual dan hasilnya, prestasi NLP menjadi jauh lebih baik.

Platform chatbot Arab boleh menjadi jauh lebih baik serta-merta dan tahap pemahaman chatbot dalam bahasa Arab setanding dengan bahasa lain.

Namun, pencapaian ini tidak bermakna kualiti chatbot Arab terus meningkat serta-merta.

Untuk pelanggan merasai manfaat ini, langkah pertama ialah platform AI chatbot perlu mengemas kini algoritma mereka untuk menggunakan teknologi terkini. Memandangkan pelaburan mereka dalam teknologi lama, ini bukan sesuatu yang dilakukan dengan cepat.

Selain itu, banyak ciri perlu disediakan oleh platform untuk memastikan chatbot Arab memberikan pengalaman yang baik kepada pengguna akhir. Contohnya, antara muka pengguna perlu menyokong bahasa Arab. Ini mungkin semudah memastikan penjajaran dalam chat adalah betul dan butang dipaparkan dalam susunan yang betul.

Mengapa Platform Berbilang Bahasa Penting

Bekerja dengan pelbagai bahasa di platform yang berbeza boleh menjadi sukar. Sesetengah platform memerlukan bot dalam bahasa berbeza dibina sebagai bot berasingan, yang jelas sangat tidak efisien.

Platform yang baik benar-benar menyokong pelbagai bahasa dan membenarkan pelbagai terjemahan untuk semua kandungan dalam antara muka pengguna platform.

Selain itu, bahasa perlu dijejak sebagai pembolehubah dalam perbualan supaya AI dapat mengesan bahasa dengan tepat dan pereka perbualan boleh membina logik berdasarkan bahasa.

Selain fungsi khusus bahasa, untuk mencipta chatbot yang hebat, fungsi umum platform chatbot juga perlu cemerlang. Terdapat dua kategori fungsi yang penting.

• Yang pertama ialah teknologi NLU umum. Platform yang berprestasi baik bukan sahaja tidak bergantung kepada bahasa, tetapi NLU asasnya menggunakan teknologi terkini dan berfungsi dengan baik secara umum. Penting untuk platform mempunyai fungsi berkaitan NLU (seperti slot filling yang canggih dan pemadanan niat berasaskan konteks).
  ‍
• Kategori kedua ialah fungsi umum platform. Ia harus membenarkan pereka bentuk mencipta pengalaman chatbot yang sangat baik untuk pengguna akhir dengan mudah, termasuk membolehkan integrasi mudah dengan sistem pihak ketiga. Jika ia kekurangan fungsi atau sukar digunakan, maka tidak relevan sama ada ia menyokong bahasa Arab atau tidak.
  ‍

Akhirnya, kualiti pengalaman chatbot yang dicipta untuk pengguna akhir berkait rapat dengan keupayaan alat yang digunakan untuk menciptanya, daripada pemahaman bahasa hingga ke antara muka grafik.

Di dunia Arab khususnya, syarikat sering memerlukan chatbot Arab yang dihoskan di premis (on-prem). Ini adalah pertimbangan penting semasa memilih platform. Chatbot Arab yang dihoskan di premis perlu dibina dengan platform chatbot Arab di premis yang bukan sahaja menawarkan antara muka pengguna di premis tetapi juga menempatkan enjin NLU penuh dan model bahasa terlatih di premis.

Bina Chatbot Arab Terbaik

Walaupun dengan platform yang baik, masih terdapat cabaran untuk mencipta chatbot yang hebat dalam bahasa Arab. Jumlah penutur bahasa Arab dalam dunia AI adalah terhad dan ini menyukarkan untuk mendapatkan sumber yang sesuai untuk projek tersebut. Walaupun tidak perlu mencari sumber untuk menulis algoritma NLU asas kerana ia sudah disediakan, cabaran mungkin timbul untuk mencari pereka bentuk yang mahir dalam semua bahasa atau dialek yang disokong oleh chatbot. Oleh itu, penting untuk platform chatbot membenarkan kandungan dan terjemahan dikemas kini dan diselenggara dengan mudah oleh individu bukan teknikal kerana kemungkinan pereka bentuk tidak fasih dalam semua bahasa yang disokong.

Sudah tentu, hakikat bahawa chatbot Arab berkualiti tinggi kini mula digunakan bermakna penggunaan teknologi ini akan meningkat. Peningkatan penggunaan ini akan menyelesaikan masalah kekurangan sumber dan membolehkan bakal pembeli teknologi mendapat gambaran jelas tentang amalan terbaik yang perlu diikuti.

Ringkasan

Pencapaian dalam teknologi NLP bukan sahaja terpakai untuk chatbot Arab tetapi juga aplikasi AI lain. Kini kita melihat sistem pelbagai fungsi yang menggunakan AI Arab dalam pelbagai cara — daripada analisis sentimen dalam berita hingga meringkaskan atau menjana teks yang sebelum ini hanya boleh dilakukan oleh manusia. Selalunya chatbot digunakan sebagai antara muka pengguna bukan sahaja untuk pelbagai teknologi AI tetapi juga untuk membantu pengguna akhir menggunakan skrin sistem lain, seperti laman web atau aplikasi web.

Sudah tentu, walaupun terdapat lonjakan besar dalam keupayaan NLU Arab, NLU masih boleh diperbaiki. Penyelidikan berterusan untuk menjadikan enjin NLU lebih baik dan pasti akan ada pencapaian baru. Sehingga NLU mencapai tahap manusia, sentiasa ada ruang untuk penambahbaikan.

Langkah seterusnya untuk semua enjin NLU tanpa mengira bahasa ialah memperbaiki dialog berbilang giliran. Ini bermakna membenarkan manusia berbual beberapa langkah dengan bot dalam topik yang khusus, bukan sekadar memberi arahan atau soalan sekali sahaja. Dan langkah berkaitan untuk platform chatbot ialah memudahkan penciptaan dialog berbilang giliran.

Dialog berbilang giliran sangat penting untuk antara muka suara seperti Alexa.

Walaupun kita membincangkan pencapaian dalam penokenan berasaskan pembelajaran mesin dan implikasinya untuk NLP Arab, topik berkaitan ialah transkripsi pertuturan ke teks dalam bahasa Arab. Transkripsi pertuturan ke teks untuk bahasa Arab masih ketinggalan berbanding bahasa lain tetapi kami berharap kemajuan NLP yang diterangkan di sini akan membantu mengurangkan jurang itu dalam masa terdekat.