Ang natural na pagpoproseso ng wika (NLP) ay naging ubiquitous – ginagamit ito sa aming pag-filter ng email, voice assistant, search engine, text prediction, at AI chatbots .
Gumagamit ang mga negosyo ng mga sistema ng NLP upang mapabuti ang kanilang mga operasyon at ginagamit ito ng mga indibidwal araw-araw sa kanilang mga tahanan.
Ngunit habang ito ay nasa lahat ng dako, ang NLP ay isang kumplikadong proseso na isinasaalang-alang ng iilan sa amin kapag gumagamit kami ng serbisyo sa pagsasalin ng wika o hinuhulaan ng aming telepono ang susunod na salita na aming ita-type.
Ang unang hakbang sa pag-unawa sa NLP ay ang pagtukoy kung ano ito. Magsimula na tayo!
Ano ang natural na pagpoproseso ng wika?
Ang natural language processing (NLP) ay isang sangay ng artificial intelligence na nakatuon sa pakikipag-ugnayan sa pagitan ng mga computer at tao sa pamamagitan ng natural na wika.
Nagbibigay-daan ito sa mga makina na maunawaan, mabigyang-kahulugan, at makabuo ng wika ng tao sa paraang parehong makabuluhan at kapaki-pakinabang.
Bakit gumagamit ng NLP?
Ang kasikatan ng NLP ay dumating para sa magandang dahilan - para sa parehong mga organisasyon at indibidwal. Ang ilan sa mga pinakakaraniwang dahilan para gumamit ng NLP ay kinabibilangan ng:
Pag-automate na matipid sa gastos
Ang mga NLP system ay kadalasang ginagamit upang i-automate ang mga gawain tulad ng suporta sa customer, pag-filter ng email, at pag-uuri ng dokumento. Tulad ng anumang iba pang uri ng automation, nakakatipid ito ng oras at mapagkukunan ng mga organisasyon.
Mga insight sa data
Ang mga NLP system ay maaaring gamitin ng mga negosyo upang magbigay ng mga insight o tukuyin ang mga uso. Sa pamamagitan ng pagsusuri sa malalaking volume ng data ng text – tulad ng feedback ng customer, mga review, o mga post sa social media – makakatulong ang isang NLP system na pahusayin ang mga produkto o serbisyo.
Pag-optimize ng paghahanap
Ang paghahanap ay naging mas mahusay at mas mahusay sa paglipas ng mga taon - sa bahagi, salamat sa NLP.
Ang NLP ay nagbibigay-daan sa mas tumpak na mga resulta ng paghahanap, sa pamamagitan man ng voice ro text, na nagpapahintulot sa mga user na makahanap ng impormasyon nang mas mabilis. Nakikita namin ang mga benepisyong ito sa trabaho sa tuwing nagta-type kami sa isang paghahanap sa Google, hilingin kay Siri na tumawag ng taksi, o ilarawan ang uri ng produkto na gusto namin sa AI chatbot ng isang tindahan.
Personalization
Dahil sinusuri ng mga sistema ng NLP ang mga indibidwal na pattern at kagustuhan ng wika, ang kanilang mga tugon ay maaaring iayon sa bawat indibidwal na pakikipag-ugnayan.
Halimbawa, ang isang customer support chatbot ay maaaring mag-alok ng paghingi ng tawad o diskwento sa isang nagalit na customer, o ang isang AI assistant ay maaaring magmungkahi ng isang brand ng damit na tumutugma sa mga nakaraang kagustuhan ng user nito.
Pagkakaiba sa pagitan ng NLU, NLP, at NLG
Ang NLP ay isang malawak na larangan na sumasaklaw sa iba't ibang mga sub-disiplina, kabilang ang natural language understanding (NLU) at natural language generation (NLG).
Ang NLP ay ang pangkalahatang domain, habang ang NLU at NLG ay mga espesyal na lugar sa loob nito. Iyon ay dahil ang natural na pagpoproseso ng wika ay dapat na may kasamang parehong pag-unawa, pagkatapos ay henerasyon sa panahon ng pabalik-balik na pag-uusap.
Natural na pag-unawa sa wika (NLP)
Ang NLU ay kinakailangan para sa pagkuha ng kahulugan sa likod ng mga input ng user.
Bilang subset ng NLP, nakatuon ang NLU sa aspeto ng pag-unawa ng pagpoproseso ng wika. Ang pangunahing layunin nito ay bigyang-daan ang mga makina na maunawaan at mabigyang-kahulugan ang wika ng tao sa isang makabuluhang paraan.
Kasama sa NLU ang pagsusuri ng teksto upang matukoy ang layunin sa likod ng mga salita, kilalanin ang mga entidad, at maunawaan ang kontekstwal na kahulugan ng wika.
Halimbawa, kapag sinabi ng isang user, "Mag-book ng mesa sa restaurant," responsibilidad ng NLU ang pag-unawa na ang layunin ay magpareserba, at ang "restaurant" ay ang entity kung saan dapat mangyari ang pagkilos.
Likas na henerasyon ng wika (NLG)
Ang NLG, sa kabilang banda, ay nababahala sa aspeto ng produksyon ng pagpoproseso ng wika. Matapos maunawaan ng isang makina ang input ng user (salamat sa NLU), ang NLG ang humalili upang bumuo ng isang magkakaugnay at naaangkop na tugon ayon sa konteksto.
Halimbawa, nagtanong ang isang user sa isang chatbot, "Ano ang lagay ng panahon bukas?" Ang sistema ng NLG ay bubuo ng tugon tulad ng, "Magiging maaraw ang panahon bukas na may mataas na 75°F."
Kasama sa NLG ang pagpili ng mga tamang salita, pagbubuo ng mga pangungusap nang tama, at pagtiyak na ang output ay natural at tulad ng tao. Isa itong kritikal na bahagi ng NLP na ginagawang komunikasyong wika ang pag-unawa ng makina.
11 bahagi ng NLP
Ang natural na pagpoproseso ng wika ay isang kumplikadong pagproseso na may ilang mga intersecting na bahagi.
Kung gusto mo ng mas mahusay na pagkaunawa sa kung paano gumagana ang NLP, ito ang 11 bahagi na naglalarawan sa mga kumplikado ng proseso.
Upang ipaliwanag ang mga bahaging ito, gagamit ako ng isang halimbawa ng isang CMO na gumagawa ng sumusunod na kahilingan sa isang panloob na chatbot: Mangyaring mag-iskedyul ng isang pulong sa marketing team sa 3pm bukas.
Mga pagbigkas
Ang pagbigkas ay ang eksaktong pariralang binibigkas o na-type ng gumagamit. Sa kasong ito, ito ay: "Mag-iskedyul ng pulong kasama ang marketing team sa 3 PM bukas."
Ang pagbigkas ay ang input na susuriin ng sistema ng NLP upang matukoy ang layunin at kunin ang mga nauugnay na entity.
Mga entidad
Ang mga entity sa pangungusap na ito ay nagbibigay ng mga partikular na detalye na nauugnay sa layunin.
Halimbawa, ang isang entity dito ay "marketing team", dahil tinutukoy nito kung kanino kasama ang meeting. Ang isa pang entity ay "3 PM bukas" dahil nagbibigay ito ng oras at petsa para sa meeting.
Binibigyan ng mga entity ang chatbot ng kinakailangang impormasyon upang maiiskedyul nang tama ang pulong.
Mga layunin
Sa aming halimbawang pangungusap sa itaas, ang layunin ay ang layunin ng user: mag-iskedyul ng pulong.
Ang interface ng pakikipag-usap, tulad ng AI chatbot, ay makikilala na ang intensyon sa likod ng mensahe ng user ay mag-set up ng meeting.
Tokenization
Ang tokenization ay isang hakbang ng proseso ng NLP. Inilalarawan nito ang paghahati-hati ng isang pangungusap sa mas maliliit na bahagi, na tinatawag na mga token, na maaaring mga indibidwal na salita, parirala, o kahit na mga bantas.
Halimbawa, ang aming pagbigkas ay maaaring hatiin sa mga token tulad ng "Iskedyul," "a," "meeting," "marketing team," "3 PM," at "bukas."
Tinutulungan nito ang sistema ng NLP na suriin ang bawat bahagi ng pangungusap nang mas epektibo, na ginagawang mas madaling maunawaan ang pangkalahatang kahulugan at tumugon nang tumpak.
Stemming at Lemmatization
Ang stemming at lemmatization ay mga pamamaraan na maaaring gamitin ng mga NLP system upang gawing simple ang mga salita sa kanilang base o root form. Pinuputol ng stemming ang isang salita hanggang sa base nito – tulad ng pagmamarka sa salitang 'pag-iskedyul' bilang 'iskedyul'.
Ang Lemmatization ay nagko-convert ng mga salita sa normalized, umiiral na mga bersyon na makikita sa isang diksyunaryo. Kaya sa halip na alisin lamang ang mga suffix, maaaring markahan ng lemmatization ang 'wowza' o 'tight' bilang salitang 'mabuti'.
Tinutulungan ng mga diskarteng ito ang sistema ng NLP na makilala na ang mga salitang may iba't ibang pagtatapos o anyo ay maaaring magkaroon ng parehong kahulugan.
Part-of-Speech Tagging
Sa hakbang na ito, tina-tag ng sistema ng NLP ang bawat salita sa pangungusap na may papel na panggramatika nito:
- Iskedyul (pandiwa)
- a (determiner)
- pulong (pangngalan)
- may (pang-ukol)
- ang (determiner)
- marketing (pang-uri)
- pangkat (pangngalan)
- sa (pang-ukol)
- 3 (numero)
- PM (pangngalan)
- bukas (pangngalan)
Ang Parts-of-Speech (PoS) tagging ay tumutulong sa NLP system na mas maunawaan ang istruktura ng pangungusap at ang mga ugnayan sa pagitan ng mga salita.
Named Entity Recognition (NER)
Tinutukoy ng system ang mga partikular na entity sa pangungusap, gaya ng "marketing team" (isang organisasyon o grupo) at "3 PM bukas" (isang time expression). Tinutulungan ng NER ang system na maunawaan kung kanino kasama ang pulong at kung kailan ito dapat iiskedyul.
Pagsusuri ng Sentimento
Sinusuri ng pagsusuri ng damdamin ang tono ng input.
Kung sasabihin ng CMO, "Mag-iskedyul ng isa pang pagpupulong kasama ang marketing team bago ko mapunit ang aking buhok," makikilala ng sistema ng NLP ang negatibong damdamin.
Kapag natukoy na ang isang damdamin, ang sistema ng NLP ay maaaring kumilos nang naaayon - maaari itong magbigay ng katiyakan sa CMO o humingi ng paumanhin. Partikular na kapaki-pakinabang ang pagsusuri ng sentimento kapag nakikipag-ugnayan ang isang interface sa pakikipag-usap sa mga customer, dahil masusukat nito kung ilan ang nilalaman at kung ilan ang nadidismaya.
Pag-unawa sa Konteksto
Ang mga sistema ng NLP ay gumagamit ng kontekstwal na pag-unawa upang bigyang-kahulugan ang kahulugan ng mga salita at parirala batay sa kanilang nakapalibot na teksto. Ito ay nagsasangkot ng pagsusuri hindi lamang sa mga indibidwal na salita ngunit kung paano sila nauugnay sa isa't isa sa isang pangungusap o pag-uusap.
Machine Learning
Pinapabuti ng mga NLP system ang kanilang kakayahang umunawa at makabuo ng wika sa pamamagitan ng paggamit ng modelo ng machine learning (ML).
Ang modelo ng ML ay sinanay sa isang malaking dataset ng mga pangungusap, na nagbibigay-daan dito na wastong bigyang-kahulugan ang layunin ("Mag-iskedyul ng pulong"), tukuyin ang mga entity (tulad ng "marketing team" at "3 PM bukas"), at bumuo ng naaangkop na tugon.
Tagapamahala ng Dialogue
Sinusubaybayan ng pamamahala ng diyalogo sa mga NLP system ang konteksto ng isang pag-uusap, na tinitiyak ang magkakaugnay na mga tugon batay sa mga nakaraang input.
Kung binanggit ng CMO sa umaga na kailangan niyang makipagkita sa marketing team, maaari niyang sabihin, 'Iiskedyul ang pulong na iyon para sa akin sa 3pm.' Tatandaan at kikumpirma ng system na gusto niyang i-book ito sa marketing team.
Mga halimbawa ng totoong mundo ng NLP
Kung gumagamit ka ng teknolohiya araw-araw, malamang na nakikipag-ugnayan ka sa mga NLP system araw-araw. Ito ay ilan lamang sa mga karaniwang halimbawa kung paano ka maaaring makipag-ugnayan sa mga natural na programa sa pagpoproseso ng wika.
Mga virtual na katulong
Malamang nasa bulsa mo ito ngayon: gumagamit ng NLP ang mga matalinong assistant gaya ni Siri, Alexa at Google Assistant para maunawaan at tumugon sa mga voice command.
Kapag tinanong mo, "Ano ang lagay ng panahon ngayon?" pinoproseso ng katulong ang iyong pananalita, nauunawaan ang layunin, kinukuha ang data ng lagay ng panahon, at tumutugon sa may-katuturang impormasyon.
AI chatbots
Maraming kumpanya ang gumagamit ng mga chatbot na pinapagana ng NLP para pangasiwaan ang mga katanungan ng customer. Halimbawa, kung tatanungin mo ang isang chatbot sa isang e-commerce na site , "Nasaan ang aking order?" maaaring bigyang-kahulugan ng bot ang iyong query, i-access ang impormasyon sa pagsubaybay sa order, at bigyan ka ng update.
Pagsasalin ng wika
Ang NLP ay nasa ubod ng mga serbisyo sa pagsasalin, na nagpapahintulot sa mga user na magsalin ng teksto o pananalita mula sa isang wika patungo sa isa pa.
Sinusuri ng mga sistemang ito ang istruktura at kahulugan ng orihinal na wika at bumubuo ng katumbas na teksto sa target na wika. Ibig sabihin sa tuwing gagamit ka ng Google Translate, mayroon kang NLP na dapat pasalamatan.
Voice-to-text na mga application
Ang mga voice-to-text na application, tulad ng Siri o mga tool sa pagdidikta, ay nagko-convert ng pasalitang wika sa nakasulat na teksto gamit ang NLP.
Kapag gumamit ka ng voice typing sa iyong telepono o nag-transcribe ng pag-record ng pulong, hinahati-hati ng NLP ang mga tunog sa mga salita, kinikilala ang mga pattern sa pagsasalita, at gumagawa ng tumpak na text.
Pag-filter ng spam ng email
Bagama't hindi namin ito iniisip na katabi ng AI, ang pag-filter ng spam ng email ay isang karaniwang aplikasyon ng NLP.
Maaaring suriin ng mga NLP system ang nilalaman ng mga email, naghahanap ng ilang partikular na pattern, parirala, o gawi na nagpapahiwatig ng spam o phishing – tulad ng mga partikular na keyword, kakaibang link, o kakaibang pag-format.
Pagbubuod at pagbuo ng teksto
Ang mga uri ng tool na ito ay nag-condense ng mahahabang artikulo, ulat, o dokumento sa mas maikli, madaling-digest na mga buod – at ginagawa nila ito gamit ang NLP.
At bawat estudyante sa edad na ChatGPT ay gumamit ng text generator. Ang mga NLP generator na ito ay kadalasang maaaring lumikha ng magkakaugnay at makabuluhang nilalaman, mula sa isang rhyming stanza, hanggang sa English essay, hanggang sa mga paglalarawan ng produkto.
Mag-deploy ng NLP chatbot sa susunod na buwan
Kung interesado ka sa paggamit ng NLP para sa automation, mga insight, o mas mahusay na pakikipag-ugnayan ng customer, ngayon na ang oras.
Botpress ay isang walang katapusang napapalawak na platform ng pagbuo ng bot na binuo para sa mga negosyo. Ang aming stack nagbibigay-daan sa mga developer na bumuo ng mga chatbot at mga ahente ng AI na may anumang mga kakayahan na maaaring kailanganin mo.
Tinitiyak ng aming pinahusay na suite ng seguridad na palaging protektado ang data ng customer, at ganap na kinokontrol ng iyong development team.
Simulan ang pagtatayo ngayon. Ito'y LIBRE.
O makipag-ugnayan sa aming sales team para matuto pa.
Talaan ng mga Nilalaman
Manatiling napapanahon sa pinakabago sa mga ahente ng AI
Ibahagi ito sa:
.svg)
