Bahasa
Bahasa
"Chatbot" dalam Bahasa Portugis ialah program yang boleh memahami dan menganalisis perbualan dalam Bahasa Portugis. Hari ini, chatbot ini boleh mengekalkan dialog yang sangat lancar antara manusia dan komputer.
Kemajuan terkini dalam Pemprosesan Bahasa Semula Jadi (NLP, dalam bahasa Inggeris - dirujuk sebagai PLN dalam teks ini) membolehkan penciptaan chatbot dalam Bahasa Portugis, mengambil kira keunikan bahasa tersebut. Kemajuan ini menggunakan Pembelajaran Mesin (atau ML - machine learning) untuk memahami bukan sahaja struktur bahasa, tetapi juga makna perkataan dan konteksnya.
Bahasa Portugis ialah bahasa keenam paling banyak digunakan di dunia, separuh daripadanya di Brazil, dan walaupun ia rapat dengan semua bahasa Latin, ia mempunyai dua keunikan yang ketara:
Selain itu, terdapat ungkapan idiomatik yang sangat berbeza antara penutur dari negara yang berbeza, yang kadang-kadang menyukarkan pemahaman keseluruhan ayat.
Adakah ciri-ciri ini menjadikan kerja chat dalam Bahasa Portugis sukar? Tidak mengejutkan, jawapannya ialah ya.
Perkara di atas menimbulkan cabaran untuk NLP dalam chatbot Bahasa Portugis. Langkah pertama untuk mana-mana algoritma Pemprosesan Bahasa Semula Jadi adalah memahami bahasa, iaitu menganalisis ayat kepada unit makna kecil, atau "token". Tugas ini dipanggil "tokenisasi" (malah, satu ciri Bahasa Portugis Brazil ialah menggunakan perkataan asing dan "membrasilkannya"). Jadi, semakin sistematik dan teratur bahasa itu, semakin mudah untuk men-tokenkannya.
Sebelum kita boleh memahami maksud kemajuan terkini dalam PLN, kita perlu faham bagaimana model pemahaman PLN dicipta.
Dalam banyak hal, memahami bagaimana chatbot dalam Bahasa Portugis (atau bahasa lain) dibuat melibatkan suatu perjalanan ke masa lalu.
Penelitian awal untuk mengatasi ketidakpastian bahasa dapat ditemukan pada tahun 1940-an, melalui artikel-artikel oleh neuroanatomis dan psikiater Warren McCulloch dari Massachusetts Institute of Technology, serta matematikawan Walter Pitts dari University of Illinois. Mereka meletakkan asas teori yang memungkinkan John von Neumann menulis “The General and Logical Theory of Automata”, pada akhir 1940-an.
Kemajuan yang memungkinkan komputer memiliki daya pemrosesan semakin besar menjadi pilar lain yang membawa penelitian NLP dari laboratorium ilmiah ke laboratorium perusahaan dan lembaga pemerintah yang didedikasikan untuk penyelidikan penggunaan harian teknologi baru.
Sejarah NLP sendiri secara khusus dimulai pada tahun 1950-an, ketika Alan Turing menerbitkan artikel “Computing Machinery and Intelligence”, yang mengusulkan apa yang kini dikenal sebagai Ujian Turing sebagai kriteria kecerdasan.
Namun, sejak akhir 1980-an, terjadi revolusi dalam NLP dengan diperkenalkannya algoritma pembelajaran mesin untuk pemrosesan bahasa. Ini berlaku kerana peningkatan kuasa pengkomputeran serta pengurangan dominasi teori linguistik "chomskyan", yang asas teorinya tidak menggalakkan penggunaan korpus linguistik seperti yang digunakan dalam pendekatan pembelajaran mesin untuk pemprosesan bahasa. Automasi ini dicapai dengan membahagikan ayat kepada blok-blok yang lebih kecil dan menerapkan aturan statistik untuk mengkatalogkan serta mengenal pasti hubungan antara blok-blok tersebut. Proses ini disebut “tokenisasi”, yang telah diterangkan di atas.
Namun, pekerjaan tokenisasi bahasa memerlukan banyak campur tangan manual dari peneliti NLP. Setiap bahasa perlu ditokenkan secara berasingan dan secara manual.
Kerja tokenisasi bahasa ini amat sukar untuk robot yang berurusan dengan bahasa yang sangat kontekstual, seperti yang anda boleh bayangkan.
Setelah bahasa ditokenkan, algoritma AI dapat diterapkan untuk memahami bahasa tersebut, yaitu membangun peta makna tentang bagaimana kata-kata dalam bahasa itu saling berkaitan.
Tahap pemahaman bahasa ini boleh diautomasi jika tokenisasi boleh dipercayai. Namun, masalahnya ialah tokenisasi adalah rumit dan, oleh itu, walaupun algoritma pemahaman perlu dikonfigurasi secara manual bersama tokenisasi.
Dan hasil akhirnya tidak baik. Sebagai contoh, tahap pemahaman Bahasa Portugis berbanding Bahasa Inggeris adalah sederhana. Memang benar, penelitian lebih banyak difokuskan pada Bahasa Inggeris daripada Bahasa Portugis, tetapi kesukaran menangani senario pengkonteksan dalam Bahasa Portugis menjadikan sukar untuk mencapai hasil yang baik.
Seperti biasa dilakukan oleh peneliti AI, mereka bertanya-tanya apakah tokenisasi itu sendiri dapat dilakukan oleh pembelajaran mesin. Ini akan membolehkan algoritma tokenisasi dan pemahaman menjadi agnostik bahasa, dan dengan itu, latihan AI dalam mana-mana bahasa menjadi jauh lebih pantas dan lebih baik.
Dan di sinilah inovasi berlaku pada akhir 2018: AI boleh dilatih dalam Bahasa Portugis tanpa campur tangan manual dan, hasilnya, prestasi NLP menjadi jauh lebih baik.
Platform AI untuk chatbot dalam Bahasa Portugis boleh serta-merta menjadi jauh lebih baik dan pemahaman dalam Bahasa Portugis adalah setara dengan tahap yang dicapai dalam bahasa lain.
Hakikat bahawa kemajuan ini berlaku tidak bermakna kualiti keseluruhan chatbot dalam Bahasa Portugis bertambah baik serta-merta. Untuk manfaat ini dirasai oleh pelanggan, langkah pertama untuk platform chatbot berasaskan AI ialah mengemas kini algoritma mereka untuk menggunakan teknologi terkini.
Memandangkan pelaburan dalam teknologi terdahulu, ini bukan sesuatu yang dilakukan oleh platform-platform ini dengan cepat.
Selain itu, terdapat beberapa ciri yang perlu dilaksanakan oleh platform untuk memastikan chatbot dalam Bahasa Portugis memberikan pengalaman yang baik kepada pengguna akhir. Contohnya, membina blok sinonim dan penggunaannya dalam pelbagai konteks untuk memetakan maksud dan mengelakkan chatbot memahami perkataan dengan maksud yang berbeza daripada konteks sebenar.
Bekerja dengan pelbagai bahasa di platform pasaran yang berbeza boleh menjadi sukar. Sesetengah platform memerlukan chatbot dalam bahasa berbeza dibina sebagai bot berasingan, yang jelas tidak cekap dari segi skalabiliti dan penyelenggaraan.
Oleh itu, platform yang baik mestilah benar-benar berbilang bahasa dan membenarkan pelbagai terjemahan kandungan yang sama dalam antara muka pengguna.
Selain itu, bahasa perlu ditetapkan sebagai pembolehubah dalam perbualan, supaya AI boleh mengesan bahasa dengan tepat dan pereka perbualan boleh mereka logik berdasarkan bahasa tersebut.
Selain fungsi khusus bahasa, untuk membina chatbot yang hebat dalam mana-mana bahasa, fungsi umum platform chatbot juga mesti cemerlang. Terdapat dua kategori fungsi yang penting.
Akhirnya, kualiti pengalaman chatbot yang dicipta untuk pengguna akhir berkait rapat dengan keupayaan alat yang digunakan untuk membinanya, daripada pemahaman bahasa hingga pendekatan antara muka grafik/teks.
Walaupun dengan platform yang baik, masih terdapat cabaran dalam membina chatbot dalam Bahasa Portugis. Terdapat bilangan kajian yang terhad dalam Bahasa Portugis dalam dunia AI, jadi mendapatkan sumber yang betul untuk projek boleh menjadi agak mencabar.
Walaupun tidak perlu mencari sumber untuk menulis algoritma asas NLP kerana ia sudah disediakan, mencari pereka bentuk yang mahir dan memahami perbezaan idiomatik antara kumpulan pengguna chatbot Bahasa Portugis boleh menjadi sukar. Ini sangat benar untuk Bahasa Portugis kerana penggunaan meluas ungkapan idiomatik berasaskan konteks.
Oleh itu, penting untuk platform chatbot membolehkan kandungan dan terjemahan dikemas kini dan diselenggara dengan mudah oleh bukan teknikal, kerana pereka bentuk dan pembangun mungkin tidak menguasai aspek budaya pelbagai variasi Bahasa Portugis.
Sudah tentu, hakikat bahawa chatbot Bahasa Portugis berkualiti tinggi semakin tepat bermakna penggunaan teknologi ini akan meningkat dalam beberapa tahun akan datang. Peningkatan penggunaan ini akan menyelesaikan masalah kekangan sumber dan membolehkan bakal pembeli teknologi mendapat gambaran jelas tentang amalan terbaik untuk mencapai hasil terbaik.
Inovasi dalam teknologi NLP bukan sahaja digunakan untuk chatbot dalam Bahasa Portugis, tetapi juga untuk aplikasi AI lain. Kini kita melihat sistem pelbagai fungsi yang menggunakan AI dalam Bahasa Portugis dengan pelbagai cara, daripada analisis sentimen dalam berita dan ulasan, hingga meringkaskan atau menjana teks yang sebelum ini hanya boleh dilakukan oleh manusia. Biasanya, chatbot dalam Bahasa Portugis digunakan sebagai antara muka pengguna bukan sahaja untuk pelbagai teknologi AI, tetapi juga untuk membantu pengguna akhir menggunakan sistem lain seperti laman web atau aplikasi web, atau berfungsi sebagai penasihat pembelian dan/atau membuat keputusan.
Sudah tentu, walaupun terdapat lonjakan besar dalam keupayaan NLP dalam Bahasa Portugis, hasilnya sentiasa boleh diperbaiki. Penyelidikan terus meningkatkan enjin NLP dan pasti akan ada kemajuan baharu. Sehingga NLP mencapai tahap manusia, sentiasa ada kerja yang perlu dilakukan.
Langkah seterusnya untuk semua enjin NLP, tanpa mengira bahasa, ialah melakukan kerja yang lebih baik dalam dialog berbilang pusingan. Ini bermakna membolehkan manusia berbual dalam beberapa langkah dengan bot dalam domain topik yang terhad, bukan sekadar memberi arahan atau soalan. Dan langkah seterusnya untuk platform chatbot ialah memudahkan penciptaan dialog berbilang pusingan.
Dialog berbilang pusingan sangat penting untuk antara muka suara seperti Alexa atau peranti seperti Google Home.
Walaupun kita telah membincangkan kemajuan dalam tokenisasi berasaskan pembelajaran mesin dan implikasinya untuk NLP dalam Bahasa Portugis, topik berkaitan ialah transkripsi pertuturan ke teks dalam Bahasa Portugis. Transkripsi pertuturan ke teks untuk Bahasa Portugis masih berkembang berbanding bahasa lain - walaupun perbezaan prestasi semakin berkurang dengan cepat. Kami berharap kemajuan NLP yang diterangkan di sini dan sedang dijalankan di seluruh dunia akan membantu mengurangkan jurang ini dalam masa terdekat.
Cipta pengalaman ejen AI yang hebat.
