Apakah Pemahaman Bahasa Semulajadi (NLU)?

NLU mungkin terdengar seperti satu lagi akronim dalam ekosistem AI, tetapi ia penting untuk membuat AI memahami apa yang kami maksudkan sebenarnya. 

Bagaimanakah Siri tahu apabila anda meminta arah berbanding memainkan lagu?

Bagaimanakah ejen AI mengetahui perbezaan antara soalan produk dan permintaan sokongan?

Mari kita pecahkan cara NLU berfungsi dan sebab ia perlu untuk interaksi AI yang lebih bijak.

Apakah NLU?

Pemahaman bahasa semula jadi (NLU) ialah subset pemprosesan bahasa semula jadi (NLP) yang membolehkan mesin mentafsir dan memahami bahasa manusia.

NLU digunakan dalam AI chatbots , pembantu maya dan alat analisis sentimen. Ia membolehkan mesin mentafsir dengan tepat niat pengguna – sama ada teks atau suara – supaya mereka boleh membuat susulan dengan tindakan yang sesuai. 

NLU dianggap sebagai masalah AI-hard (juga dikenali sebagai AI-complete), bermakna ia memerlukan kecerdasan buatan untuk diselesaikan. NLU adalah mustahil tanpa kecerdasan buatan (AI).

Bagaimanakah NLU berfungsi?

NLU memecahkan bahasa manusia untuk mentafsir makna dan maksudnya. Begini cara ia berfungsi langkah demi langkah:

1. Pra-Memproses Teks

Sebelum analisis dimulakan, teks dibersihkan dengan membuang unsur-unsur yang tidak perlu seperti tanda baca dan berhenti perkataan untuk memberi tumpuan kepada kandungan yang bermakna.

2. Mengenalpasti Komponen Utama

Sistem mengekstrak entiti, kata kunci dan frasa , mengenal pasti bahagian teks yang paling berkaitan untuk analisis lanjut.

3. Menganalisis Struktur Ayat

Dengan meneliti perhubungan perkataan dan tatabahasa , NLU menentukan cara perkataan dan konsep yang berbeza berinteraksi dalam ayat.

4. Pemetaan kepada Niat dan Matlamat

Komponen yang diekstrak dipadankan dengan niat atau objektif yang telah ditetapkan, membantu sistem memahami tujuan pengguna.

5. Memperhalusi Pemahaman dengan Konteks

Interaksi masa lalu dan petunjuk konteks membantu meningkatkan ketepatan , membolehkan sistem NLU melaraskan respons berdasarkan sejarah perbualan.

6. Menjana Output Berstruktur

Akhir sekali, sistem menghasilkan respons berstruktur yang boleh mencetuskan tindakan, melaksanakan arahan atau menyampaikan maklumat yang berkaitan.

Contoh Dunia Nyata

Mari kita pecahkan dengan contoh. 

Patrick menggunakan ejen AI di tempat kerja yang menyepadukan dengan semua aplikasi utamanya, termasuk kalendarnya. 

Patrick menaip kepada ejen AInya: “Jadualkan pertemuan dengan Anqi pada pukul 1 petang esok, atau kadang-kadang serupa. Jadualkan susulan selama dua minggu selepas itu.”

Dalam perjalanan aliran kerja AI ejennya, ejennya akan:

1. Kenal pasti niat: Ejen mengenal pasti bahawa Patrick ingin menjadualkan mesyuarat
2. Ekstrak entiti utama: Ejen mengenal pasti bahawa Patrick bercakap tentang 'Anqi' kenalan, '1pm' masa dan 'esok', tarikh.
3. Analisis ujaran: Ejen mengenal pasti bahawa item tindakan adalah 'penjadualan', dan ia harus dilakukan dengan Anqi, dan masa dan hari sepatutnya pukul 1 petang esok. 
4. Pemahaman kontekstual: Ejen menyemak kalendar Patrick dan Anqi untuk memastikan ketersediaan. Jika 1 tengah hari esok tidak percuma, ia akan mencadangkan masa yang sama, seperti yang diminta.
5. Tindakan akhir: Ejen menjadualkan mesyuarat dan tindakan susulan dengan menghantar jemputan kalendar kepada Patrick dan Anqi. 

Penggunaan NLU di Dunia Sebenar

Berkemungkinan anda menemui NLU dalam kehidupan seharian anda, selalunya tanpa disedari. Berikut ialah beberapa aplikasi dunia sebenar yang paling biasa:

Penjanaan utama

NLU ialah komponen utama penjanaan petunjuk AI , satu bentuk petunjuk yang layak melalui AI perbualan. Menggunakan pemahaman bahasa semula jadi, chatbots boleh mengenal pasti keperluan dan kebolehan petunjuk masuk. Mereka juga boleh menempah mesyuarat kalendar dengan wakil jualan secara langsung selepas melayakkan petunjuk.

Pembantu suara

Pembantu suara seperti Siri, Alexa dan Google Assistant bergantung pada NLU untuk memahami maksud di sebalik perintah pertuturan anda. 

Contohnya, apabila anda menyebut, "Tetapkan peringatan untuk janji temu kuku saya pada pukul 2 petang," pembantu itu memecahkan ayat anda, mengenal pasti niat (menetapkan peringatan) dan mengekstrak entiti (janji janji kuku, esok, 2 petang). 

NLU membenarkan pembantu ini memahami permintaan lisan dan membuat susulan dengan tindakan yang betul.

Chatbot perkhidmatan pelanggan

Apabila anda berinteraksi dengan bot sembang sokongan pelanggan dan menaip, "Di mana pakej saya?", bot menggunakan NLU untuk menentukan bahawa niat anda adalah untuk menyemak status penghantaran. 

Ia mengeluarkan entiti yang diperlukan - maklumat pesanan anda - dan menyediakan kemas kini yang betul. Keupayaan untuk memahami dan menjawab pelbagai pertanyaan pelanggan inilah yang menjadikan NLU bahagian penting dalam automasi perkhidmatan pelanggan moden.

Pengisihan dan automasi e-mel

NLU juga terdapat di sebalik sistem automasi e-mel. Sebagai contoh, alatan berkuasa NLU boleh membaca e-mel masuk, memahami kandungan dan mengisihnya secara automatik ke dalam kategori seperti "mendesak", "promosi" atau "mesyuarat". 

Sistem ini malah boleh menjana respons yang sesuai berdasarkan kandungan e-mel, menjimatkan masa perniagaan dalam menguruskan komunikasi.

Analisis teks untuk maklum balas dan tinjauan

Syarikat sering menggunakan NLU untuk menganalisis maklum balas daripada tinjauan, ulasan dan siaran media sosial. 

NLU membantu mengenal pasti corak dan sentimen dalam bahasa bertulis, membolehkan anda memahami keperluan dan pendapat pelanggan. 

Sebagai contoh, sistem NLU boleh mengimbas beratus-ratus ulasan pelanggan dan menentukan sama ada kebanyakan pengguna berasa positif atau negatif tentang ciri tertentu menggunakan analisis sentimen.

Komponen Utama

Tokenisasi

Tokenisasi ialah proses memecahkan ayat kepada unit yang lebih kecil, seperti perkataan atau frasa, untuk memudahkan AI memproses.

Contoh : "Jadualkan mesyuarat pada pukul 3 petang esok" ditandakan menjadi ["Jadual," "a," "mesyuarat," "untuk," "3 PTG," "esok"].

Tagging Part-of-Speech (POS).

Penandaan POS mengenal pasti struktur tatabahasa ayat dengan melabelkan setiap perkataan sebagai kata nama, kata kerja, kata sifat, dsb.

Contoh : Dalam "Jadualkan mesyuarat," AI menandai "Jadual" sebagai kata kerja dan "mesyuarat" sebagai kata nama.

Pengiktirafan Entiti Dinamakan (NER)

Pengecaman Entiti Dinamakan (NER) mengesan dan mengelaskan entiti penting seperti nama, lokasi dan tarikh dalam teks.

Contoh : Dalam "Tempah penerbangan ke New York Jumaat depan," AI mengenal pasti "New York" sebagai lokasi dan "Jumaat depan" sebagai tarikh.

Klasifikasi Niat

Pengelasan niat menentukan matlamat atau tujuan asas pengguna di sebalik input mereka.

Contoh : "Tempah meja untuk dua orang" diklasifikasikan sebagai niat untuk membuat tempahan.

Penghuraian Ketergantungan

Penghuraian ketergantungan menganalisis hubungan antara perkataan untuk memahami struktur tatabahasa ayat.

Contoh : Dalam "Hantar laporan kepada Maria," AI mengenal pasti bahawa "Maria" ialah penerima laporan.

Analisis Kontekstual

Analisis kontekstual menggunakan perbualan sekeliling atau interaksi terdahulu untuk memastikan respons adalah relevan dan tepat.

Contoh : Jika sebelum ini pengguna bertanya tentang projek tertentu, AI mungkin menyesuaikan respons masa depan berdasarkan konteks tersebut.

Bina ejen NLU tersuai

Dengan kemajuan pesat teknologi AI, sesiapa sahaja boleh membina ejen AI dengan keupayaan NLU. 

Botpress ialah platform pembinaan bot yang tidak berkesudahan yang dibina untuk perusahaan. kami stack membolehkan pembangun membina chatbots dan ejen AI untuk sebarang kes penggunaan.

Bermula adalah mudah dengan peringkat percuma kami, tutorial yang meluas dan Academy Botpress .

Mula membina hari ini. Ia percuma. 

Soalan lazim

1. Bagaimanakah NLU berkaitan dengan pembelajaran mesin dan pembelajaran mendalam?

NLU (Natural Language Understanding) bergantung pada pembelajaran mesin untuk mengenal pasti corak dalam data teks dan pada pembelajaran mendalam untuk memodelkan struktur bahasa yang kompleks. Seni bina pembelajaran mendalam seperti transformer membolehkan sistem NLU mentafsir konteks dan niat dengan ketepatan yang tinggi.

2. Apakah perbezaan antara NLU dan Penjanaan Bahasa Semulajadi (NLG)?

NLU (Natural Language Understanding) ialah mengenai mentafsir dan mengekstrak makna daripada input pengguna, manakala NLG (Natural Language Generation) memfokuskan pada menghasilkan respons seperti manusia. Pendek kata, NLU membaca dan memahami. NLG menulis dan membalas.

3. Sejauh manakah tepat NLU hari ini, dan apakah faktor yang mempengaruhi ketepatannya?

Sistem NLU moden boleh mencapai ketepatan lebih 90% dalam domain yang ditakrifkan dengan baik, tetapi prestasi bergantung pada faktor seperti kualiti data latihan, kepelbagaian bahasa, kerumitan domain dan sejauh mana model mengendalikan pertanyaan kesamaran atau pelbagai niat.

4. Berapa banyak data yang biasanya diperlukan untuk membina model NLU yang boleh dipercayai?

Untuk membina model NLU yang boleh dipercayai, anda biasanya memerlukan beribu-ribu contoh berlabel setiap niat atau entiti, walaupun menggunakan pembelajaran pemindahan dan model pra-latihan (seperti BERT atau GPT ) boleh mengurangkan keperluan data dengan ketara kepada beberapa ratus contoh setiap kelas.

5. Bagaimanakah anda mengintegrasikan enjin NLU dengan alatan lain seperti CRM, kalendar atau pangkalan data?

Anda menyepadukan enjin NLU dengan alatan dengan menyambungkannya kepada API yang membenarkan sistem mengambil tindakan sebaik sahaja niat pengguna dikesan – seperti membuat janji temu, mengambil maklumat hubungan atau mengemas kini rekod. Ini melibatkan skrip bahagian belakang atau menggunakan platform dengan sokongan integrasi asli.