Apa yang dimaksud dengan Analisis Chatbot? Pelajari lebih lanjut tentang analitik chatbot dan metrik utama chatbot

Analisis chatbot adalah data waktu nyata yang chatbot Anda yang dihasilkan melalui interaksinya dengan orang-orang. Data ini bisa sangat berguna dan memberikan nilai yang bagus untuk bisnis Anda.

Apa yang Harus Saya Cari di Platform Analisis Chatbot?

Analisis chatbot adalah alat penting untuk meningkatkan kinerja chatbot dan pengalaman pelanggan secara keseluruhan

Kumpulan analitik chatbot pertama yang penting bagi admin adalah statistik penggunaan umum. Metrik utama seperti apakah chatbot digunakan, pada perangkat apa, seberapa sering, bagaimana pengalaman pengguna, berapa tingkat retensi dan berapa rasio pentalan dalam jangka waktu tertentu, dll? Ini adalah jenis wawasan berharga yang akan Anda dapatkan dari alat analisis chatbot untuk situs web.

Statistik umum lainnya yang diperlukan untuk semua chatbots ketika pemrosesan bahasa alami digunakan adalah analisis percakapan seperti frasa yang disalahpahami, kata-kata yang paling sering digunakan, jumlah insiden intervensi/eskalasi manusia, dll.

Terkait statistik di atas, penting agar statistik ini tidak hanya diukur tetapi juga diintegrasikan ke dalam perangkat lunak dengan cara yang membuat chatbot lebih baik untuk interaksi pengguna. Misalnya, frasa yang disalahpahami dapat secara otomatis ditambahkan ke daftar frasa yang terkait dengan maksud tertentu saat menyiapkan NLP sehingga bot mengembangkan alur percakapan yang lebih baik. Penting bagi admin atau agen pendukung untuk memiliki cara mudah menambahkan dan memvalidasi jenis frasa ini sehingga bot dapat berkembang dengan cepat.

Jangan meremehkan pentingnya akses khusus ke analitik chatbot

Meskipun semua analisis umum di atas penting, ternyata dalam banyak kasus, akses khusus ke data chatbot lebih penting lagi. Hal ini terutama berlaku ketika chatbot sedang diluncurkan dan diujicobakan. Ini karena pada awal proyek bot, sponsor sangat ingin menunjukkan adopsi dan penggunaan. Oleh karena itu, mereka akan mencoba memastikan bahwa bot tersebut dipasarkan secara memadai kepada pengguna percontohan dan jika mereka telah melakukan tugasnya dengan benar, statistik akan menunjukkan penggunaan yang baik dan keberhasilan chatbot. Ini juga sebagian karena platform chatbot adalah produk baru bagi pengguna, mereka mungkin penasaran untuk menggunakannya pada awalnya dan ini dapat meningkatkan statistik penggunaan secara artifisial.

Namun, yang menarik bagi admin chatbot adalah tanda-tanda bahwa ada masalah dengan penggunaan bot yang menandakan bahwa penggunaan mungkin tidak sekuat yang ditunjukkan oleh statistik awal. Dan bahkan jika statistiknya jelas bahwa ada masalah penggunaan, sponsor ingin tahu mengapa masalah penggunaan terjadi.

Masalahnya dapat dengan mudah diidentifikasi dan diperbaiki dengan analisis umum. Pada awalnya, misalnya, sangat sering terjadi bahwa pengaturan NLP tidak selengkap yang seharusnya sehingga bot salah paham lebih dari yang seharusnya. Masalah ini biasanya dapat diperbaiki dengan cepat dengan menambahkan lebih banyak frasa ke maksud yang relevan dalam pengaturan NLP.

Analisis Chatbot Khusus

Bagaimana analisis khusus dapat mengatasi masalah umum dengan pengalaman chatbot

Sering kali analisis khusus diperlukan untuk mendiagnosis masalah. Sebagai contoh, umpan balik eksplisit perlu dimasukkan ke dalam alur percakapan untuk dapat mengidentifikasi masalah.

Analisis khusus juga menjadi perhatian khusus ketika bot adalah chatbot yang lebih disesuaikan.

Pendekatan Sederhana vs Pendekatan Kompleks Chatbot

Jika chatbot sederhana, misalnya, membawa pengguna melalui semacam pohon keputusan, dan ada masalah penggunaan, mungkin mudah untuk mengidentifikasi masalah dari statistik penggunaan umum saja. Analisis dapat menunjukkan titik dalam percakapan chatbot di mana pengguna kehilangan minat dan meninggalkan percakapan atau dapat menunjukkan jumlah waktu yang dihabiskan di bot sebelum pengguna meninggalkannya dan dalam kedua kasus ini dapat menunjukkan masalah dengan alur atau dengan kasus penggunaan bot secara keseluruhan.

Jika bot lebih rumit, misalnya memiliki logika khusus, statistik umum tidak akan menceritakan kisah lengkapnya. Mereka mungkin dapat memberi tahu Anda poin yang ditinggalkan pengguna, tetapi mereka tidak akan dapat memberi tahu Anda mengapa pengguna meninggalkannya.

Bayangkan sebagai contoh sederhana. Anda membuat chatbot untuk membantu anak-anak mempelajari jadwal mereka. Pendekatan dasarnya adalah anak-anak memilih tabel waktu yang dimaksud dan bot mengacak pertanyaan mengenai tabel waktu yang dipilih. Masalahnya di sini adalah bahwa anak-anak yang mempelajari jadwal berada pada tingkat yang berbeda dan oleh karena itu tingkat keterlibatan yang berhasil mungkin turun jika mereka menemukan pertanyaan yang terlalu sulit di awal atau bahkan di titik selanjutnya dalam interaksi.

Untuk mengetahui hal ini, kami membutuhkan analisis yang juga mencerminkan tingkat kesulitan dari pertanyaan-pertanyaan yang ada (dan idealnya secara otomatis menyesuaikan levelnya). Hal ini perlu dibangun ke dalam analisis khusus. Dan ini hanya dapat dilakukan jika platform pembuatan chatbot mendukung analisis khusus (atau lebih tepatnya, dengan mudah menambahkan analisis khusus).

Setelah analisis khusus tersedia, pengembang dapat menggunakan wawasan yang dapat ditindaklanjuti yang diperoleh untuk mengimplementasikan pendekatan canggih seperti menggunakan algoritme untuk mencocokkan level anak dengan pertanyaan yang diajukan untuk memaksimalkan retensi pengguna dalam game.

Pengujian A/B untuk Analisis Chabot

Hal ini membawa kita pada topik yang sangat penting dan berkaitan dengan analisis yang disesuaikan, yaitu pengujian A/B. Dengan perangkat lunak apa pun, sulit untuk mengetahui di awal apa yang mungkin bekerja paling baik dalam hal fungsionalitas, grafik, dan konten dan satu-satunya cara untuk mengetahuinya dengan pasti adalah dengan menguji A/B berbagai alternatif.

Hal ini juga berlaku untuk chatbots . Analisis khusus perlu ditautkan ke mesin pengujian A / B di dalam platform pembuatan chatbot. Tentu saja, di dalam platform bot itu sendiri, tidak hanya penting untuk dapat menghasilkan dan menandai analitik khusus, tetapi juga untuk menentukan pengujian A / B dalam alur percakapan.

Peran Anggota Tim untuk Analisis Chatbot

Sponsor, manajer, dan pengembang chatbot semuanya bertanggung jawab untuk membantu menentukan analisis yang diperlukan. Seperti yang telah disebutkan, analisis khusus setidaknya tergantung pada kasus penggunaan yang ditangani oleh bot.

Sponsor jelas tertarik dengan adopsi antarmuka percakapan dan mencoba untuk mengatasi segala halangan dalam adopsi atau masalah lain yang mungkin berdampak negatif pada tingkat kepuasan pengguna.

Apa saja metrik kinerja penting untuk analitik chatbot?

Dari sudut pandang analitik chatbot umum, perusahaan chatbot akan tertarik dengan metrik dan KPI chatbot utama berikut ini:

• Jumlah interaksi (node) Jumlah aliran
• Durasi obrolan
• Persentase pernyataan yang disalahpahami/dipahami
• Peta kata dari pernyataan
• Peta kata dari pernyataan yang disalahpahami
• Daftar pertanyaan pengguna yang disalahpahami
• Jumlah aliran yang dimulai
• Jumlah pengulangan aliran
• Pemeringkatan arus berdasarkan penggunaan
• Peringkat aliran berdasarkan pernyataan yang disalahpahami
• Jumlah pengambilalihan oleh manusia
• Jumlah login
• Jumlah penyelesaian yang berhasil
• Jumlah pengguna berulang
• Jumlah pengguna aktif per periode
• Jumlah login
• Persentase yang aktif terhadap yang diberi nama/pengguna

Mereka mungkin tertarik untuk melihat statistik di atas pada periode tertentu atau menggunakan filter lainnya.

Bagaimana pengembang menggunakan data analitik chatbot khusus untuk meningkatkan interaksi chatbot?

Dalam hal analisis khusus, mereka mungkin tertarik dengan umpan balik yang biasanya dimasukkan secara manual sebagai simpul dalam alur percakapan, terutama pada titik akhir setiap alur (apakah hasilnya berhasil atau tidak). Mereka mungkin tertarik dengan peringkat alur berdasarkan peringkat umpan balik.

Untuk contoh yang kami berikan tentang chatbot tabel waktu, mereka mungkin tertarik untuk melihat apakah ada korelasi antara tingkat kesulitan dan keterlibatan (jumlah node yang dilalui).

Manajer bot tentu saja tertarik dengan statistik di atas, tetapi juga tertarik untuk memastikan kelancaran pengoperasian bot. Mereka mungkin memerlukan analisis tentang kinerja bot di berbagai perangkat dan statistik ketersediaan bot. Apakah ada masalah infrastruktur atau keamanan?

Mereka mungkin tertarik tidak hanya pada perilaku basis pengguna tetapi juga pada perilaku pengguna super seperti seberapa sering mereka memperbarui konten atau memodifikasi alur. Informasi semacam ini juga bisa jadi wajib untuk alasan keamanan.

Mereka tentu saja juga akan tertarik dengan informasi mengenai perkembangan bot dari pengembangan, pementasan, ke lingkungan produksi, dan statistik rilis pengembang, dll.

Para pengembang tertarik dengan semua hal di atas sejauh mereka dapat menggunakan informasi tersebut untuk membuat perusahaan mereka chatbots lebih baik. Tentu saja, mereka akan tertarik dengan statistik yang mengidentifikasi bug, seperti statistik yang keluar dari proses pengujian yang akan memiliki pengujian khusus untuk bot seperti pengujian keberhasilan NLP. Namun dalam praktiknya, para pengembang dan pengguna super lebih banyak terlibat dalam mengimplementasikan analisis khusus daripada memantaunya.

Kesimpulan - Masa Depan Analisis Chatbot

Saya telah menyebutkan secara singkat bahwa mengintegrasikan analitik ke dalam fungsionalitas bot sangat penting untuk keberhasilan pembuatan bot. Pengujian A/B perlu mengintegrasikan analitik khusus dan kemudian dapat menggunakan algoritme sederhana untuk mengoptimalkan percakapan. Integrasi yang lebih kompleks dapat digunakan untuk mengoptimalkan kinerja bot, seperti pengoptimalan yang disebutkan sebelumnya untuk memastikan bahwa tingkat kesulitan bot jadwal (atau lebih realistis permainan yang lebih kompleks) dioptimalkan.

Banyak perusahaan perangkat lunak besar, seperti Google, Microsoft, dan IBM menawarkan layanan analisis chatbot. Meskipun layanan ini dapat dengan mudah menyediakan analitik umum, apa yang telah saya jelaskan adalah bahwa untuk mendapatkan manfaat penuh dari analitik, analitik perlu disesuaikan dan digabungkan dengan fungsionalitas bot dengan cara yang berbeda dari perangkat lunak non-konvensional seperti situs web misalnya. Oleh karena itu, sangat penting bahwa kerangka kerja chatbot yang digunakan memungkinkan pengembang untuk menyesuaikan panel admin.

‍