Ano ang natural language processing (NLP) sa AI?

Ang natural language processing (NLP) ay laganap na—ginagamit ito sa pag-filter ng email, voice assistant, AI agent, search engine, text prediction, at AI chatbot.

Ginagamit ng mga negosyo ang mga NLP system para mapabuti ang kanilang operasyon at ginagamit din ito ng mga tao araw-araw sa kanilang tahanan.

Ngunit kahit saan ito naroroon, komplikado ang proseso ng NLP na madalang nating napapansin kapag gumagamit tayo ng serbisyo ng pagsasalin ng wika o kapag hinuhulaan ng ating telepono ang susunod na salita na ating itatype.

Ang unang hakbang sa pag-unawa sa NLP ay ang pag-alam kung ano ito. Tara, simulan na natin!

Ano ang natural language processing?

Ang natural language processing (NLP) ay isang sangay ng artificial intelligence na nakatuon sa ugnayan ng computer at tao gamit ang likas na wika.

Pinapahintulutan nitong maintindihan, maipaliwanag, at makabuo ng wika ng tao ang mga makina sa paraang makabuluhan at kapaki-pakinabang.

Bakit gagamit ng NLP?

May matibay na dahilan kung bakit sumikat ang NLP—para sa mga organisasyon at indibidwal. Ilan sa mga karaniwang dahilan ng paggamit ng NLP ay:

Makatipid sa gastos sa awtomasyon

Madalas gamitin ang mga NLP system para awtomatikong gawin ang mga gawain tulad ng suporta sa customer, pag-filter ng email, at pag-uuri ng dokumento. Tulad ng ibang uri ng awtomasyon, nakakatipid ito ng oras at mga yaman ng mga organisasyon.

Mga pananaw mula sa datos

Maaaring gamitin ng mga negosyo ang NLP system para makakuha ng pananaw o matukoy ang mga uso. Sa pamamagitan ng pagsusuri ng malaking dami ng text data mula sa enterprise chatbot—tulad ng feedback ng customer, review, o post sa social media—makakatulong ang NLP system na mapabuti ang mga produkto o serbisyo.

Pag-optimize ng paghahanap

Lalong gumaganda ang paghahanap sa paglipas ng panahon—bahagi nito ay dahil sa NLP.

Nagbibigay ang NLP ng mas tumpak na resulta ng paghahanap, sa boses man o teksto, kaya mas mabilis makahanap ng impormasyon ang mga tao. Nakikita natin ito tuwing mag-Google search tayo, mag-utos kay Siri na mag-book ng taxi, o maglarawan ng produkto sa AI chatbot ng tindahan.

Personalisasyon

Dahil sinusuri ng NLP system ang indibidwal na pattern at kagustuhan sa wika, naiaangkop ang mga tugon sa bawat interaksyon.

Halimbawa, maaaring mag-alok ng paumanhin o diskwento ang isang customer support chatbot sa isang nabigla na customer, o magmungkahi ng tatak ng damit ang AI assistant na tugma sa dating gusto ng user.

Pagkakaiba ng NLU, NLP, at NLG

Malawak ang saklaw ng NLP at kinabibilangan ito ng iba’t ibang sub-disiplina, kabilang ang natural language understanding (NLU) at natural language generation (NLG).

Ang NLP ang payong larangan, habang ang NLU at NLG ay mga espesyalisadong bahagi nito. Kailangan kasi sa natural language processing ang parehong pag-unawa at pagbuo ng wika sa isang usapan.

Natural Language Understanding (NLU)

Kailangan ang NLU para makuha ang kahulugan sa likod ng input ng user.

Bilang bahagi ng NLP, nakatuon ang NLU sa pag-unawa ng wika. Pangunahing layunin nito na matutong makaunawa at makapagpaliwanag ng wikang tao ang mga makina.

Kasama sa NLU ang pagsusuri ng teksto para matukoy ang layunin ng mga salita, makilala ang mga entity, at maunawaan ang konteksto ng wika.

Halimbawa, kapag sinabi ng user na "Magpareserba ng mesa sa restawran," ang NLU ang tumutukoy na ang layunin ay magpareserba, at ang "restawran" ang entity kung saan gagawin ang aksyon.

Natural Language Generation (NLG)

Ang NLG naman ay nakatuon sa paggawa ng tugon. Kapag naintindihan na ng makina ang input ng user (dahil sa NLU), ang NLG ang bahala sa pagbuo ng malinaw at akmang sagot.

Halimbawa, kung magtanong ang user sa chatbot ng "Ano ang panahon bukas?" ang NLG system ang bubuo ng sagot na "Maaraw bukas at aabot sa 75°F ang taas ng temperatura."

Kasama sa NLG ang pagpili ng tamang salita, pagbuo ng tamang estruktura ng pangungusap, at pagtiyak na likas at parang tao ang tugon. Mahalaga ito sa NLP dahil dito nagiging komunikatibo ang pagkaunawa ng makina.

11 Bahagi ng NLP

Komplikado ang natural language processing at binubuo ito ng maraming magkakaugnay na bahagi.

Kung gusto mong mas maintindihan kung paano gumagana ang NLP, narito ang 11 bahagi na nagpapakita ng pagiging masalimuot ng proseso.

Para ipaliwanag ang mga bahaging ito, gagamitin ko ang halimbawa ng isang CMO na nagbigay ng ganitong utos sa internal chatbot: Pakischedule ng meeting kasama ang marketing team sa alas-3 ng hapon bukas.

1. Pahayag (Utterances)

Ang pahayag ay ang eksaktong sinabi o itinipa ng user. Sa kasong ito, ito ay: "I-schedule ang meeting kasama ang marketing team sa alas-3 ng hapon bukas."

Ang pahayag ang input na susuriin ng NLP system para matukoy ang layunin at makuha ang mga kaugnay na entity.

2. Mga Entity

Ang mga entity sa pangungusap na ito ay nagbibigay ng tiyak na detalye kaugnay ng layunin.

Halimbawa, ang "marketing team" ay isang entity dahil tinutukoy nito kung sino ang makakasama sa meeting. Isa pang entity ang "3 PM tomorrow" dahil ito ang oras at petsa ng meeting.

Ang mga entity ang nagbibigay ng kinakailangang impormasyon sa chatbot para maayos nitong maischedule ang meeting.

3. Layunin (Intents)

Sa halimbawa natin, ang layunin ay ang nais ng user: magtakda ng meeting.

Ang isang conversational interface, tulad ng AI chatbot, ay makikilala na ang intensyon ng mensahe ng user ay magtakda ng meeting.

4. Tokenization

Ang tokenization ay hakbang sa proseso ng NLP. Dito hinahati ang pangungusap sa mas maliliit na bahagi na tinatawag na token—maaaring ito ay mga salita, parirala, o bantas.

Halimbawa, maaaring hatiin ang pahayag sa mga token tulad ng "Schedule," "a," "meeting," "marketing team," "3 PM," at "tomorrow."

Nakakatulong ito sa NLP system na masuri ang bawat bahagi ng pangungusap, kaya mas madaling maunawaan ang kabuuang kahulugan at makapagbigay ng tamang tugon.

5. Stemming at Lemmatization

Ang stemming at lemmatization ay mga teknik na ginagamit ng NLP system para gawing payak ang mga salita. Ang stemming ay nagbabawas ng salita sa ugat nito—halimbawa, ang 'scheduling' ay nagiging 'schedule'.

Ang lemmatization naman ay ginagawang normalisado at umiiral sa diksyunaryo ang salita. Sa halip na tanggalin lang ang hulapi, maaaring gawing 'good' ang 'wowza' o 'tight'.

Nakakatulong ang mga teknik na ito para makilala ng NLP system na magkaiba man ang anyo ng mga salita, pareho pa rin ang ibig sabihin.

6. Part-of-Speech Tagging

Sa hakbang na ito, tinutukoy ng NLP system ang papel ng bawat salita sa pangungusap:

• Schedule (pandiwa)
• a (pantukoy)
• meeting (pangngalan)
• with (pang-ukol)
• the (pantukoy)
• marketing (pang-uri)
• team (pangngalan)
• at (pang-ukol)
• 3 (bilang)
• PM (pangngalan)
• tomorrow (pangngalan)

Nakakatulong ang Part-of-Speech (PoS) tagging para mas maintindihan ng NLP system ang estruktura ng pangungusap at ugnayan ng mga salita.

7. Named Entity Recognition (NER)

Tinutukoy ng system ang mga partikular na entity sa pangungusap, tulad ng "marketing team" (isang organisasyon o grupo) at "3 PM tomorrow" (isang oras). Nakakatulong ang NER para malaman ng system kung sino ang makakasama sa meeting at kailan ito gagawin.

8. Pagsusuri ng Damdamin (Sentiment Analysis)

Sinusuri ng sentiment analysis ang tono ng input.

Kung sasabihin ng CMO, "Mag-iskedyul ka pa ng pulong kasama ang marketing team bago ako mabaliw," matutukoy ng NLP system ang negatibong damdamin.

Kapag natukoy na ang damdamin, maaaring umaksyon ang NLP system ayon dito—maaari nitong pakalmahin ang CMO o humingi ng paumanhin. Lalo itong kapaki-pakinabang kapag ang isang conversational interface ay nakikipag-ugnayan sa mga customer, dahil nasusukat nito kung ilan ang kuntento at ilan ang nababahala.

9. Pag-unawa sa Konteksto

Gumagamit ang mga NLP system ng pag-unawa sa konteksto upang bigyang-kahulugan ang mga salita at parirala batay sa nakapaligid na teksto. Kasama rito ang pagsusuri hindi lang ng bawat salita kundi pati ng ugnayan ng mga ito sa loob ng pangungusap o usapan.

10. Pagkatuto ng Makina

Pinapahusay ng mga NLP system ang kakayahan nilang umunawa at bumuo ng wika gamit ang modelo ng pagkatuto ng makina (ML).

Sinanay ang ML model sa malaking koleksyon ng mga pangungusap, kaya nitong tamang bigyang-kahulugan ang layunin ("Mag-iskedyul ng pulong"), tukuyin ang mga entidad (tulad ng "marketing team" at "3 PM bukas"), at bumuo ng angkop na tugon.

11. Tagapamahala ng Diyalogo

Ang pamamahala ng diyalogo sa mga NLP system ay sumusubaybay sa konteksto ng usapan, tinitiyak na magkakaugnay ang mga tugon batay sa mga naunang input.

Kung nabanggit ng CMO kaninang umaga na kailangan niyang makipagpulong sa marketing team, maaari niyang sabihin, ‘I-iskedyul mo na ang pulong para sa akin sa 3pm.’ Maalala ito ng sistema at kukumpirmahin na gusto niyang i-book ito kasama ang marketing team.

Mga Halimbawa ng NLP sa Tunay na Mundo

Kung gumagamit ka ng teknolohiya araw-araw, malamang na nakikipag-ugnayan ka na sa mga NLP system araw-araw. Narito ang ilan sa mga karaniwang halimbawa kung paano ka nakikipag-ugnayan sa mga programang natural language processing.

Virtual Assistants

Malamang nasa bulsa mo na ngayon: ang mga smart assistant tulad ng Siri, Alexa, at Google Assistant ay gumagamit ng NLP para maunawaan at masagot ang mga voice command.

Kapag tinanong mo, "Ano ang lagay ng panahon ngayon?" isang AI assistant ang nagpoproseso ng iyong boses, nauunawaan ang layunin, kinukuha ang datos ng panahon, at sumasagot ng kaugnay na impormasyon.

AI Chatbots

Maraming kumpanya ang gumagamit ng mga chatbot na pinapagana ng NLP para sagutin ang mga tanong ng customer. Halimbawa, kung magtanong ka sa chatbot ng isang e-commerce site, "Nasaan na ang order ko?" kayang bigyang-kahulugan ng bot ang iyong tanong, kunin ang impormasyon sa pagsubaybay ng order, at magbigay ng update.

Pagsasalin ng Wika

Nasa sentro ng mga serbisyo ng pagsasalin ang NLP, kaya nitong isalin ang teksto o pananalita mula sa isang wika patungo sa iba pa.

Sinusuri ng mga sistemang ito ang estruktura at kahulugan ng orihinal na wika at bumubuo ng katumbas na teksto sa target na wika. Ibig sabihin, tuwing gumagamit ka ng Google Translate, NLP ang dahilan kung bakit ito gumagana.

Mga Aplikasyon ng Voice-to-Text

Ang mga voice-to-text na aplikasyon, tulad ng Siri o mga dictation tool, ay ginagawang nakasulat na teksto ang sinasalitang wika gamit ang NLP.

Kapag gumamit ka ng voice typing sa iyong telepono o nag-transcribe ng recording ng pulong, hinahati ng NLP ang mga tunog sa mga salita, kinikilala ang mga pattern sa pagsasalita, at gumagawa ng tumpak na teksto.

Pag-filter ng Spam sa Email

Bagama’t hindi natin agad iniisip na kaugnay ito ng AI, ang pag-filter ng spam sa email ay karaniwang gamit ng NLP.

Kayang suriin ng mga NLP system ang nilalaman ng mga email, hinahanap ang mga pattern, parirala, o kilos na palatandaan ng spam o phishing—tulad ng partikular na mga keyword, kakaibang link, o hindi pangkaraniwang pag-format.

Pagbuod at Paglikha ng Teksto

Ang mga ganitong uri ng tool ay nagpapaiikli ng mahahabang artikulo, ulat, o dokumento sa mas maiikling buod na madaling maintindihan—at ginagawa nila ito gamit ang NLP.

At bawat estudyante sa panahon ng ChatGPT ay gumamit na ng text generator. Kayang lumikha ng mga NLP generator ng makabuluhan at magkakaugnay na nilalaman, mula sa tula, sanaysay sa Ingles, hanggang sa mga paglalarawan ng produkto.

Maglunsad ng NLP Chatbot sa Susunod na Buwan

Kung nais mong gamitin ang NLP para sa awtomasyon, kaalaman, o mas mahusay na pakikipag-ugnayan sa customer, ngayon ang tamang panahon.

Ang Botpress ay isang walang-hanggang mapapalawak na plataporma sa paggawa ng bot na idinisenyo para sa mga negosyo. Pinapahintulutan ng aming teknolohiya ang mga developer na gumawa ng mga chatbot at AI agent na may anumang kakayahan na kailangan mo.

Tinitiyak ng aming pinalakas na seguridad na laging protektado ang datos ng mga customer, at ganap na kontrolado ng inyong development team.

Simulan ang paggawa ngayon. Libre ito.

O makipag-ugnayan sa aming sales team upang malaman pa ang iba pang detalye.

FAQs

Paano naiiba ang NLP sa tradisyonal na rule-based na pagproseso ng wika?

Ang tradisyonal na rule-based na mga sistema ay umaasa sa mano-manong isinulat na mga tuntunin sa lingguwistika, kaya mahigpit at matrabaho itong panatilihin. Sa kabilang banda, ginagamit ng NLP ang estadistikal na pamamaraan at machine learning upang matutunan ang mga pattern ng wika mula sa datos, kaya mas nababagay at nasusukat ito.

Paano naiiba ang NLP sa pangkalahatang machine learning?

Ang NLP ay isang espesyalisadong sangay ng AI na gumagamit ng machine learning para maunawaan at makabuo ng wika ng tao, samantalang ang pangkalahatang machine learning ay sumasaklaw sa mas malawak na uri ng datos tulad ng mga larawan, numero, o signal.

Ano ang pagkakaiba ng domain-specific na NLP model at general-purpose model?

Ang domain-specific na NLP model ay sinanay gamit ang mga teksto mula sa isang partikular na larangan, tulad ng batas o medisina, kaya mas mahusay nitong nauunawaan ang espesyalisadong bokabularyo at konteksto. Ang general-purpose na mga modelo, bagama’t mas malawak ang saklaw, ay maaaring kulang sa katumpakan kapag ginamit sa espesyalisadong o teknikal na larangan.

Paano makikinabang ang maliliit na negosyo sa mga teknolohiya ng NLP?

Maaaring gamitin ng maliliit na negosyo ang NLP upang awtomatikong sagutin ang mga customer gamit ang chatbot, pagandahin ang paghahanap sa website, suriin ang puna ng customer para sa damdamin, at tumulong sa paglikha ng nilalaman—nakakatulong itong gawing mas episyente ang operasyon kahit walang malaking teknikal na pangkat.

May mga kilalang etikal na isyu o bias ba sa mga NLP model?

Oo, maaaring hindi sinasadyang matutunan at mapalakas ng mga NLP model ang mga bias na nasa training data, na nagdudulot ng hindi patas o mapaminsalang resulta, kaya mahalaga ang responsableng pagsasanay at regular na pagsusuri.