Natural na Pagproseso ng Wika at Natural na Pag-unawa sa Wika: Malalim na Gabay sa 2024

Ang mga computer ay mahusay sa pagtugon sa mga tagubilin sa programming at paunang natukoy na mga simpleng utos sa wika, ngunit tayo ay nasa mga unang yugto pa lamang ng kanilang pag-unawa sa natural na wika.

Ang isang simpleng command tulad ng "Ibaba ang telepono," halimbawa, ay may makasaysayang at kolokyal na konteksto na humuhubog sa kahulugan nito. Mabilis na naiintindihan ng isip ng tao ang pariralang ito, ngunit maaaring hindi ang mga computer.

Sa kabutihang palad, ang mga pagsulong sa natural na pagpoproseso ng wika (NLP) ay nagbibigay sa mga computer ng isang hakbang sa kanilang pag-unawa sa mga paraan ng natural na pakikipag-usap ng mga tao sa pamamagitan ng wika.

Ang tagumpay sa lugar na ito ay lumilikha ng hindi mabilang na mga bagong pagkakataon sa negosyo sa serbisyo sa customer, pamamahala ng kaalaman, at pagkuha ng data, bukod sa iba pa. Sa katunayan, ang natural na pag-unawa sa wika ay nasa sentro ng kung ano Botpress naglalayong makamit bilang isang kumpanya—ang pagtulong sa mga makina na mas maunawaan ang mga tao ang layunin na nagbibigay inspirasyon sa ating pagbuo ng AI sa pakikipag-usap.

Bagama't ang pagpapatupad ng mga likas na kakayahan sa wika ay naging mas madaling ma-access, ang kanilang mga algorithm ay nananatiling isang "itim na kahon" sa maraming mga developer, na pumipigil sa mga koponan na makamit ang pinakamainam na paggamit ng mga function na ito. Ang pag-unawa sa mga pangunahing kaalaman sa kung paano ito gumagana ay mahalaga upang matukoy kung anong uri ng data ng pagsasanay, ang kanilang gagamitin upang sanayin ang mga matatalinong makina na ito. Ang pagpili at paglalapat ng tamang data ng pagsasanay ay kritikal sa tagumpay.

Sa artikulong ito, sinusuri namin ang mga pangunahing kaalaman ng natural na wika at ang kanilang mga kakayahan. Sinusuri din namin ang ilang pangunahing kaso ng paggamit at nagbibigay ng mga rekomendasyon kung paano magsimula sa sarili mong mga solusyon sa natural na wika.

Ano ang Natural Language Processing?

Ang Natural Language Processing ay isang subfield ng artificial intelligence na nag-aaral ng mga interaksyon sa pagitan ng computer at wika ng tao. Ito ay isang larangan ng pag-aaral na pinagsasama ang linguistic at computer science. Ang layunin ng NLP ay gawing structured data ang isang natural na input ng wika. Gumagamit ito ng maraming gawain para gawin iyon, tulad ng; part-of-speech tagging, pinangalanang entity recognition, syntactic parsing, at higit pa.

Ano ang Natural Language Understanding (NLU)?

Ang Natural Language Understanding ay tungkol sa pag-unawa sa wika. Katulad natin, naririnig o nababasa ng teknolohiya ang isang bagay nang hindi ito naiintindihan. Ang NLU ay ang teknolohiyang nagpapagana sa mga interface ng pakikipag-usap. Kung walang bahagi ng pag-unawa, ang pag-uusap ay halos imposible o sa pinakamainam na awkward.

Paano Gumagana ang NLU?

Tulad ng ibang mga solusyon sa AI, ang teknolohiyang ito ay nangangailangan ng pagsasanay. Ang pagtukoy ng layunin ay depende sa data ng pagsasanay na ibinigay ng developer ng chatbot at ng pagpili ng mga teknolohiya ng mga engineer ng platform. Dapat magbigay ang mga espesyalistang ito ng data ng pagsasanay upang matiyak na nauunawaan ng tool ang mga user sa loob ng konteksto ng function nito—kung ang function na iyon ay naglilingkod sa mga external na customer o tumutulong sa mga internal na user sa pamamahala ng kaalaman. Kahit na may pagsasanay, mawawala ang NLU habang umiiwas ang mga pag-uusap mula sa mga pangunahing function nito at nagiging mas pangkalahatan.

Sa kabutihang palad, ang mga teknolohiyang ito ay maaaring maging lubos na epektibo sa mga partikular na kaso ng paggamit. Ang pag-optimize at pagpapatupad ng pagsasanay ay hindi maabot ng karamihan sa mga developer at kahit na hindi teknikal na mga user. Ang mga kamakailang tagumpay sa AI, na umuusbong sa bahagi dahil sa exponential growth sa availability ng computing power, ay ginagawang mas madali, mas madaling lapitan, at mas abot-kaya ang paglalapat ng mga solusyong ito kaysa dati.

“Upang makuha ang pag-unawang iyon, kailangan ng mga makina na maunawaan at makabuo ng mga bahagi ng pananalita, kunin at maunawaan ang mga entity, matukoy ang mga kahulugan ng mga salita, at gumamit ng mas kumplikadong mga aktibidad sa pagproseso upang ikonekta ang mga konsepto, parirala, konsepto, at gramatika sa mas malaking bahagi. larawan ng layunin at kahulugan.” Forbes, "Mga Makina na Makakaintindi sa Pananalita ng Tao: Ang Pattern ng Pag-uusap Ng AI," Hunyo 2020

Ang wika ay masalimuot—higit pa sa maaari nating maisip—kaya ang paglikha ng software na sumasagot sa lahat ng mga nuances nito at matagumpay na tinutukoy ang layunin ng tao sa likod ng wikang iyon ay kumplikado din. Ngunit tulad ng katalinuhan ng tao, ang sapat na pagsasanay ng AI ay nagbibigay-daan sa isang makina na malampasan ang mga kumplikadong ito (kung ang data ng pagsasanay ay sapat na hugis).

Ang pagsasanay sa AI ay may mga partikular na kinakailangan na natatangi sa bawat paggamit at konteksto ng AI. Halimbawa, ipagpalagay nating nilayon nating sanayin ang isang chatbot na gumagamit ng NLU upang magtrabaho sa isang function ng serbisyo sa customer para sa paglalakbay sa himpapawid. Ipoproseso ng chatbot ang natural na wika ng mga customer upang matulungan silang mag-book ng mga flight at ayusin ang kanilang mga itinerary.

Sa kasong ito, ang isang chatbot developer ay dapat magbigay ng natural na language algorithm ng machine na may data ng layunin. Binubuo ang data na ito ng mga karaniwang pariralang maaaring gamitin ng mga customer sa paglalakbay upang gawin o baguhin ang kanilang mga booking. Ang algorithm ng natural na wika—isang machine learning function—ay nagsasanay sa sarili nito sa data upang makilala ng katulong sa pakikipag-usap ang mga parirala na may magkatulad na kahulugan ngunit magkaibang mga salita.

Sa isip, ang pagsasanay na ito ay magbibigay ng kasangkapan sa pakikipag-usap na katulong upang pangasiwaan ang karamihan sa mga sitwasyon ng customer, na nagpapalaya sa mga ahente ng tao mula sa nakakapagod na mga tawag kung saan hindi kinakailangan ang mas malalim na kakayahan ng tao. Samantala, maaaring ipagpaliban ng katulong sa pakikipag-usap ang mas kumplikadong mga sitwasyon sa mga ahente ng tao (hal., mga pag-uusap na nangangailangan ng empatiya ng tao). Kahit na may ganitong mga kakayahan, dapat na patuloy na ibigay ng mga developer ang algorithm ng magkakaibang data upang ma-calibrate nito ang panloob na modelo nito upang makasabay sa mga pagbabago sa mga gawi ng customer at mga pangangailangan ng negosyo.

Sa layuning ito, ang isang paraan na tinatawag na word vectorization ay nagmamapa ng mga salita o parirala sa mga katumbas na "vector"—mga tunay na numero na magagamit ng mga makina upang mahulaan ang mga resulta, tukuyin ang mga pagkakatulad ng salita, at mas maunawaan ang mga semantika. Ang Word vectorization ay lubos na nagpapalawak ng kapasidad ng makina na maunawaan ang natural na wika, na nagpapakita ng progresibong kalikasan at potensyal sa hinaharap ng mga teknolohiyang ito.

Mga tip sa pagbuo ng iyong dataset

• Manatili sa isang konsepto sa bawat layunin (ang layunin ay naglalaman ng maraming pagbigkas)
  
• Subukang paghaluin ang mga kasingkahulugan sa mga pagbigkas
• Isulat ang iyong mga pananalita gamit ang wikang gagamitin ng iyong katauhan
• Gumamit ng mga entity
• Iwasan ang mga pagkakamali sa spelling at grammar

Narito ang aming kumpletong gabay upang bumuo ng dataset ng pagsasanay para sa iyong chatbot.