Ano ang Chatbot Analytics? Matuto pa tungkol sa chatbot analytics at mga pangunahing sukatan ng chatbot

Ang chatbot analytics ay ang real-time na data na nabubuo ng iyong chatbot sa pamamagitan ng pakikipag-ugnayan nito sa mga tao. Ang data na ito ay maaaring maging talagang kapaki-pakinabang at nagpapakita ng malaking halaga para sa iyong negosyo.

Ano ang Dapat Kong Hanapin sa isang Chatbot Analytics Platform?

Ang chatbot analytics ay isang mahalagang tool para sa pagpapabuti ng pagganap ng chatbot at ang pangkalahatang karanasan ng customer

Ang unang hanay ng chatbot analytics na mahalaga sa mga admin ay mga generic na istatistika ng paggamit. Ang mga pangunahing sukatan tulad ng chatbot ay ginagamit, sa anong mga device, gaano kadalas, paano ang karanasan ng user, ano ang retention rate at ano ang bounce rate sa isang partikular na time frame, atbp? Ito ang uri ng mahahalagang insight na makukuha mo mula sa isang chatbot analytics tool para sa isang website.

Ang iba pang mga generic na istatistika na kinakailangan para sa lahat ng chatbot kapag ginamit ang natural na pagpoproseso ng wika ay ang conversational analytics tulad ng mga hindi maintindihang parirala, pinakamadalas na salita na ginagamit, bilang ng interbensyon ng tao/mga insidente ng pagdami atbp.

Pagdating sa mga istatistika sa itaas, mahalaga na ang mga istatistikang ito ay hindi lamang nasusukat ngunit isinama sa software sa mga paraan na ginagawang mas mahusay ang chatbot para sa pakikipag-ugnayan ng user. Halimbawa, ang mga hindi nauunawaang parirala ay maaaring awtomatikong idagdag sa listahan ng mga parirala na nauugnay sa isang partikular na layunin kapag nagse-set up ng NLP upang ang bot ay bumuo ng mas mahusay na daloy ng pakikipag-usap. Mahalaga na ang mga admin o mas malamang na mga ahente ng suporta ay may mga madaling paraan ng pagdaragdag at pagpapatunay ng mga ganitong uri ng mga parirala upang mabilis na mapabuti ang bot.

Huwag maliitin ang kahalagahan ng custom na pag-access sa chatbot analytics

Bagama't mahalaga ang lahat ng generic na analytics sa itaas, lumalabas na sa maraming pagkakataon, mas mahalaga pa ang custom na pag-access sa data ng chatbot. Ito ay partikular na totoo kapag ang chatbot ay inilunsad at pini-pilot. Ito ay dahil sa simula ng isang bot project, ang mga sponsor ay sabik na ipakita ang pag-aampon at paggamit. Susubukan nilang, samakatuwid, na tiyakin na ang bot ay sapat na nai-market sa mga pilot na gumagamit at kung nagawa nila nang tama ang kanilang trabaho ang mga istatistika ay magpapakita ng mahusay na paggamit at tagumpay sa chatbot. Ito rin ay bahagyang dahil ang chatbot platform ay isang nobelang produkto para sa mga user na maaaring gusto nilang gamitin ito sa simula at maaari nitong artipisyal na mapalaki ang mga istatistika ng paggamit.

Gayunpaman, kung ano ang kawili-wili sa mga admin ng chatbot, ay mga senyales na may mga isyu sa paggamit ng bot na nagpapahiwatig na ang paggamit ay maaaring hindi kasing tibay gaya ng ipinapahiwatig ng mga paunang istatistika. At kahit na malinaw ang mga istatistika na may problema sa paggamit, gustong malaman ng mga sponsor kung bakit nangyayari ang problema sa paggamit.

Maaaring madaling matukoy at maayos ang problema gamit ang generic na analytics. Sa simula, halimbawa, napakadalas na ang pag-setup ng NLP ay hindi kasing komprehensibo gaya ng nararapat kung kaya't higit na hindi nauunawaan ng bot ang dapat. Ang problemang ito ay karaniwang mabilis na naaayos sa pamamagitan ng pagdaragdag ng higit pang mga parirala sa nauugnay na layunin sa pag-setup ng NLP.

Custom na Chatbot Analytics

Paano matutugunan ng custom na analytics ang mga karaniwang isyu sa karanasan sa chatbot

Kadalasan kailangan ang custom na analytics upang masuri ang isang problema. Maaaring halimbawa na ang tahasang feedback ay kailangang isama sa daloy ng pag-uusap upang matukoy ang mga isyu.

Partikular na interes din ang custom na analytics kapag ang bot ay isang mas customized na chatbot.

Simple Approach vs Complex Approach Chatbot

Kung ang isang chatbot ay simple, halimbawa, kailangan ng isang user sa pamamagitan ng ilang uri ng decision tree, at mayroong problema sa paggamit, maaaring madaling matukoy ang problema mula sa mga pangkaraniwang istatistika ng paggamit lamang. Maaaring ipahiwatig ng analytics ang punto sa pag-uusap sa chatbot kung saan nawalan ng interes ang mga user at inabandona ang pag-uusap o maaari nitong ipahiwatig ang dami ng oras na ginugol sa bot bago ito inabandona ng user at sa parehong mga kaso maaari itong magpahiwatig ng problema sa daloy o sa kaso ng paggamit ng bot sa pangkalahatan.

Kung mas kumplikado ang bot, ibig sabihin, mayroon itong custom na lohika, hindi sasabihin ng mga generic na istatistika ang buong kuwento. Maaaring masabi nila sa iyo ang puntong inaabandona ng user, ngunit hindi nila masasabi sa iyo kung bakit umaalis ang user.

Isipin bilang isang simpleng halimbawa. Bumuo ka ng chatbot para matulungan ang mga bata na matutunan ang kanilang mga timetable. Ang isang pangunahing diskarte ay maaaring piliin ng mga bata ang talahanayan ng mga oras na pinag-uusapan at ang bot ay randomize ng mga tanong tungkol sa napiling talahanayan ng mga oras. Ang problema dito ay ang mga bata na natututo ng mga timetable ay nasa iba't ibang antas at samakatuwid ang matagumpay na rate ng pakikipag-ugnayan ay maaaring bumaba kung makita nilang masyadong mahirap ang mga tanong sa simula o kahit na sa susunod na punto ng mga pakikipag-ugnayan.

Upang makuha ito kailangan namin ang analytics upang ipakita din ang kahirapan ng mga tanong bukod sa iba pang mga bagay (at perpektong awtomatikong ayusin ang antas). Kailangan itong mabuo sa custom na analytics. At magagawa lang ito kung sinusuportahan ng platform ng pagbuo ng chatbot ang custom na analytics (o higit pa sa punto, madaling magdagdag ng custom na analytics).

Kapag available na ang custom na analytics, magagamit ng mga developer ang naaaksyunan na insight na nakuha upang magpatupad ng isang sopistikadong diskarte gaya ng paggamit ng algorithm upang itugma ang antas ng bata sa mga tanong na itinanong upang i-maximize ang pagpapanatili ng user sa laro.

A/B Testing para sa Chabot Analytics

Dinadala tayo nito sa isang kritikal at nauugnay na paksa sa naka-customize na analytics at iyon ay A/B testing. Sa anumang software, mahirap malaman sa simula kung ano ang pinakamahusay na gagana sa mga tuntunin ng functionality, graphics at content at ang tanging paraan para malaman ay ang pagsubok ng A/B sa iba't ibang alternatibo.

Totoo rin ito para sa mga chatbot. Kailangang i-link ang custom na analytics sa isang A/B testing engine sa loob ng platform ng pagbuo ng chatbot. Siyempre, sa loob mismo ng bot platform, hindi lang mahalaga na makagawa at makapag-tag ng custom na analytics, kundi pati na rin tukuyin ang mga pagsubok sa A/B sa daloy ng pag-uusap.

Mga Tungkulin ng Miyembro ng Team para sa Chatbot Analytics

Ang sponsor, manager, at developer ng chatbot ay lahat ay may pananagutan sa pagtulong na tukuyin ang analytics na kinakailangan. Gaya ng nabanggit, nakadepende man lang ang custom na analytics sa mga kaso ng paggamit na tinutugunan ng bot.

Malinaw na interesado ang sponsor sa paggamit ng interface ng pakikipag-usap at sinusubukang ayusin ang anumang mga hadlang sa pag-aampon o anumang iba pang isyu na maaaring negatibong makaapekto sa mga antas ng kasiyahan ng user.

Ano ang mahahalagang sukatan ng pagganap para sa chatbot analytics?

Mula sa isang pangkaraniwang pananaw sa analytics ng chatbot, magiging interesado ang mga kumpanya ng chatbot sa mga sumusunod na pangunahing sukatan ng chatbot at KPI:

• Bilang ng mga pakikipag-ugnayan (node) Bilang ng mga daloy
• Chat tagal
• Porsiyento ng mga pahayag na hindi naiintindihan/naiintindihan
• Word map ng mga pahayag
• Word map ng mga pahayag na hindi maintindihan
• Listahan ng mga hindi nauunawaang query ng user
• Bilang ng mga daloy na sinimulan
• Bilang ng paulit-ulit na daloy
• Pagraranggo ng mga daloy ayon sa paggamit
• Pagraranggo ng mga daloy sa pamamagitan ng mga pahayag na hindi maintindihan
• Bilang ng pagkuha ng tao
• Bilang ng mga login
• Bilang ng matagumpay na pagkumpleto
• Bilang ng mga umuulit na gumagamit
• Bilang ng mga aktibong user bawat panahon
• Bilang ng mga login
• Porsiyento ng aktibo sa pinangalanan / mga gumagamit

Maaaring interesado sila sa pagtingin sa mga istatistika sa itaas sa mga partikular na panahon o paggamit ng iba pang mga filter siyempre.

Paano ginagamit ng mga developer ang custom na data ng analytics ng chatbot upang mapabuti ang mga pakikipag-ugnayan sa chatbot?

Sa mga tuntunin ng custom na analytics, maaaring interesado sila sa feedback na karaniwang manu-manong inilalagay bilang node sa daloy ng pag-uusap, lalo na sa mga endpoint ng bawat daloy (nagtagumpay man ang kinalabasan o hindi). Maaari silang maging interesado sa pagraranggo ng mga daloy ayon sa rating ng feedback.

Para sa halimbawang ibinigay namin ng isang times table na chatbot, maaaring interesado silang makita kung mayroong anumang ugnayan sa pagitan ng antas ng kahirapan at pakikipag-ugnayan (bilang ng mga node na pinagdaanan).

Ang mga tagapamahala ng bot siyempre ay interesado sa mga istatistika sa itaas ngunit interesado rin sa pagtiyak ng maayos na operasyon ng bot. Maaaring mangailangan sila ng analytics sa performance ng bot sa iba't ibang device at statistics sa availability ng bot. Nagkaroon ba ng anumang mga isyu sa imprastraktura o seguridad?

Maaaring interesado sila hindi lamang sa gawi ng user base kundi pati na rin sa gawi ng mga super user gaya ng kung gaano kadalas sila nag-a-update ng content o binabago ang daloy. Ang ganitong uri ng impormasyon ay maaari ding maging mandatory para sa mga kadahilanang pangseguridad.

Siyempre, magiging interesado din sila sa impormasyon tungkol sa pag-unlad ng mga bot mula sa pag-unlad, hanggang sa pagtatanghal, hanggang sa mga kapaligiran ng produksyon, at mga istatistika sa mga release ng developer, atbp.

Interesado ang mga developer sa lahat ng nabanggit sa lawak na magagamit nila ang impormasyon para gawing mas mahusay ang kanilang mga chatbot ng enterprise. Siyempre, magiging interesado sila sa mga istatistika na tumutukoy sa mga bug, tulad ng mga istatistika na lumalabas sa proseso ng pagsubok na magkakaroon ng mga espesyal na pagsubok para sa mga bot tulad ng pagsubok para sa tagumpay ng NLP. Gayunpaman, sa pagsasagawa, ang mga developer at super user ay mas kasangkot sa pagpapatupad ng custom na analytics kaysa sa pagsubaybay sa kanila.

Konklusyon - Ang Kinabukasan ng Chatbot Analytics

Nabanggit ko sa madaling sabi na ang pagsasama ng analytics sa functionality ng bot ay kritikal para sa matagumpay na pagbuo ng bot. Kailangang isama ng pagsubok sa A/B ang custom na analytics at pagkatapos ay maaaring gumamit ng isang simpleng algorithm para i-optimize ang pag-uusap. Maaaring gamitin ang mas kumplikadong integration para i-optimize ang performance ng bot, gaya ng optimization na binanggit dati para matiyak na na-optimize ang kahirapan ng timetable bot (o mas realistic na mas kumplikadong laro).

Maraming malalaking kumpanya ng software, tulad ng Google, Microsoft, at IBM ang nag-aalok ng mga serbisyo ng chatbot analytics. Bagama't madaling makapagbigay ng generic na analytics ang mga serbisyong ito, ang ginawa kong malinaw na kaso ay para makuha ang buong benepisyo ng analytics ang analytics ay kailangang ma-customize at mahigpit na isama sa functionality ng bot sa paraang naiiba sa hindi- pang-usap na software tulad ng mga website halimbawa. Samakatuwid, mahalaga na ang chatbot framework na ginamit ay nagbibigay-daan sa mga developer na i-customize ang admin panel.

‍