Chatbot Analitiği Nedir? Chatbot analizi ve temel chatbot metrikleri hakkında daha fazla bilgi edinin

Chatbot analitiği, Chatbot'unuzun gerçek zamanlı verileridir. sohbet robotu insanlarla etkileşimi yoluyla üretiyor. Bu veriler gerçekten faydalı olabilir ve işletmeniz için büyük bir değer sunar.

Bir Chatbot Analitik Platformunda Nelere Dikkat Etmeliyim?

Chatbot analizleri, chatbot performansını ve genel müşteri deneyimini iyileştirmek için önemli bir araçtır

Yöneticiler için önemli olan ilk sohbet robotu analiz seti genel kullanım istatistikleridir. Sohbet botu kullanılıyor mu, hangi cihazlarda, ne sıklıkla, kullanıcı deneyimi nasıl, elde tutma oranı nedir ve belirli bir zaman diliminde hemen çıkma oranı nedir gibi temel metrikler? Bunlar, bir web sitesi için bir sohbet robotu analiz aracından elde edeceğiniz türden değerli bilgilerdir.

Doğal dil işleme kullanıldığında tüm sohbet robotları için gerekli olan diğer genel istatistikler, yanlış anlaşılan ifadeler, en sık kullanılan kelimeler, insan müdahalesi/durdurma olaylarının sayısı vb. gibi konuşma analizleridir.

Yukarıdaki istatistikler söz konusu olduğunda, bu istatistiklerin yalnızca ölçülmesi değil, aynı zamanda sohbet botunu kullanıcı etkileşimi için daha iyi hale getirecek şekilde yazılıma entegre edilmesi de önemlidir. Örneğin, yanlış anlaşılan ifadeler NLP kurulurken belirli bir amaçla ilişkili ifadeler listesine otomatik olarak eklenebilir, böylece bot daha iyi bir konuşma akışı geliştirebilir. Botun hızlı bir şekilde gelişmesi için yöneticilerin veya daha büyük olasılıkla destek temsilcilerinin bu tür ifadeleri eklemenin ve doğrulamanın kolay yollarına sahip olması önemlidir.

Chatbot analizlerine özel erişimin önemini hafife almayın

Yukarıdaki tüm genel analizler önemli olsa da, çoğu durumda chatbot verilerine özel erişimin daha da önemli olduğu ortaya çıkıyor. Bu, özellikle sohbet botu kullanıma sunulurken ve pilot uygulama yapılırken geçerlidir. Bunun nedeni, bir bot projesinin başlangıcında sponsorların benimseme ve kullanımı göstermeye istekli olmalarıdır. Bu nedenle, botun pilot kullanıcılara yeterince pazarlandığından emin olmaya çalışacaklar ve işlerini doğru yapmışlarsa istatistikler iyi bir kullanım ve sohbet botu başarısı gösterecektir. Bunun bir nedeni de sohbet robotu platformunun kullanıcılar için yeni bir ürün olması, başlangıçta bu platformu kullanmaya meraklı olmaları ve bu durumun kullanım istatistiklerini yapay olarak şişirebilmesidir.

Bununla birlikte, sohbet robotu yöneticilerinin ilgisini çeken şey, bot kullanımında, kullanımın ilk istatistiklerin gösterdiği kadar sağlam olmayabileceğine işaret eden sorunlar olduğuna dair işaretlerdir. İstatistikler bir kullanım sorunu olduğunu açıkça ortaya koysa bile, sponsorlar kullanım sorununun neden kaynaklandığını bilmek isterler.

Sorun genel analizlerle kolayca tespit edilebilir ve düzeltilebilir. Örneğin, başlangıçta NLP kurulumunun olması gerektiği kadar kapsamlı olmaması ve bu nedenle botun olması gerekenden daha fazla yanlış anlaması çok sık karşılaşılan bir durumdur. Bu sorun normalde NLP kurulumunda ilgili amaca daha fazla ifade eklenerek hızla giderilir.

Özel Chatbot Analitiği

Özel analizler chatbot deneyimiyle ilgili yaygın sorunları nasıl ele alabilir?

Bir sorunu teşhis etmek için genellikle özel analitiklere ihtiyaç duyulur. Örneğin, sorunları tespit edebilmek için görüşme akışına açık geri bildirimlerin yerleştirilmesi gerekebilir.

Özel analizler, bot daha özelleştirilmiş bir sohbet botu olduğunda da özellikle ilgi çekicidir.

Basit Yaklaşım vs Karmaşık Yaklaşım Chatbot

Bir sohbet botu basitse, örneğin bir kullanıcıyı bir tür karar ağacından geçiriyorsa ve bir kullanım sorunu varsa, sorunu yalnızca genel kullanım istatistiklerinden tanımlamak kolay olabilir. Analizler, sohbet botu görüşmesinde kullanıcıların ilgisini kaybettiği ve görüşmeyi terk ettiği noktayı gösterebilir veya kullanıcı terk etmeden önce botta geçirilen süreyi gösterebilir ve her iki durumda da bu, akışla veya genel olarak bot kullanım durumuyla ilgili bir soruna işaret edebilir.

Bot daha karmaşıksa, yani özel bir mantığa sahipse, genel istatistikler hikayenin tamamını anlatmayacaktır. Size kullanıcının vazgeçtiği noktayı söyleyebilirler, ancak kullanıcının neden vazgeçtiğini söyleyemezler.

Basit bir örnek olarak düşünün. Çocukların zaman çizelgelerini öğrenmelerine yardımcı olmak için bir sohbet robotu oluşturuyorsunuz. Temel bir yaklaşım, çocukların söz konusu çarpım tablosunu seçmesi ve botun seçilen çarpım tablosuyla ilgili soruları rastgele seçmesi olabilir. Buradaki sorun, zaman çizelgelerini öğrenen çocukların farklı seviyelerde olması ve bu nedenle soruları başlangıçta veya etkileşimlerin ilerleyen bir noktasında çok zor bulmaları halinde başarılı katılım oranının düşebilmesidir.

Bunu yakalamak için analitiğin diğer şeylerin yanı sıra soruların zorluğunu da yansıtması (ve ideal olarak seviyeyi otomatik olarak ayarlaması) gerekir. Bunun özel analitiklere yerleştirilmesi gerekir. Bu da ancak sohbet robotu oluşturma platformu özel analizleri destekliyorsa (ya da daha doğrusu özel analizleri kolayca ekleyebiliyorsa) yapılabilir.

Özel analizler hazır olduğunda, geliştiriciler elde edilen eyleme geçirilebilir bilgileri, kullanıcının oyunda kalmasını en üst düzeye çıkarmak için çocuğun seviyesini sorulan sorularla eşleştirmek için bir algoritma kullanmak gibi sofistike bir yaklaşım uygulamak için kullanabilirler.

Chabot Analytics için A/B Testi

Bu da bizi özelleştirilmiş analitikle ilgili kritik bir konuya, yani A/B testine getiriyor. Herhangi bir yazılımda, işlevsellik, grafikler ve içerik açısından en iyi neyin işe yarayacağını başlangıçta bilmek zordur ve bunu kesin olarak bilmenin tek yolu farklı alternatifleri A/B testine tabi tutmaktır.

Bu, sohbet robotları için de geçerlidir. Özel analizlerin, sohbet robotu oluşturma platformunun içindeki bir A/B test motoruna bağlanması gerekir. Elbette, bot platformunun kendi içinde yalnızca özel analizler oluşturabilmek ve etiketleyebilmek değil, aynı zamanda konuşma akışı içinde A/B testleri tanımlayabilmek de önemlidir.

Chatbot Analitiği için Ekip Üyesi Rolleri

Sohbet botunun sponsoru, yöneticisi ve geliştiricisi, gerekli analizlerin tanımlanmasına yardımcı olmaktan sorumludur. Belirtildiği gibi, özel analizler en azından bot tarafından ele alınan kullanım durumlarına bağlıdır.

Sponsorun diyalog arayüzünün benimsenmesiyle ilgilendiği ve benimsemenin önündeki engelleri veya kullanıcı memnuniyeti düzeylerini olumsuz etkileyebilecek diğer sorunları çözmeye çalıştığı açıktır.

Chatbot analizi için temel performans ölçütleri nelerdir?

Genel bir chatbot analitiği bakış açısından, chatbot şirketleri aşağıdaki temel chatbot metrikleri ve KPI'ları ile ilgilenecektir:

• Etkileşim sayısı (düğümler) Akış sayısı
• Chat süre
• Yanlış anlaşılan/anlaşılan ifadelerin yüzdesi
• İfadelerin kelime haritası
• Yanlış anlaşılan ifadelerin kelime haritası
• Yanlış anlaşılan kullanıcı sorgularının listesi
• Başlatılan akış sayısı
• Tekrarlanan akış sayısı
• Akışların kullanıma göre sıralanması
• Yanlış anlaşılan ifadelere göre akışların sıralanması
• İnsan devralma sayısı
• Giriş sayısı
• Başarılı tamamlama sayısı
• Tekrar eden kullanıcı sayısı
• Dönem başına aktif kullanıcı sayısı
• Giriş sayısı
• Aktif / adlandırılmış / kullanıcı yüzdesi

Yukarıdaki istatistiklere belirli dönemlerde bakmak veya elbette başka filtreler kullanmak isteyebilirler.

Geliştiriciler chatbot etkileşimlerini iyileştirmek için özel chatbot analiz verilerini nasıl kullanır?

Özel analitik açısından, normalde konuşma akışında bir düğüm olarak manuel olarak girilen geri bildirimlerle, özellikle de her akışın bitiş noktalarında (sonucun başarılı olup olmadığı) ilgilenebilirler. Geri bildirim derecelendirmesine göre akışların sıralamasıyla ilgilenebilirler.

Verdiğimiz çarpım tablosu sohbet robotu örneğinde, zorluk seviyesi ile etkileşim (geçilen düğüm sayısı) arasında herhangi bir korelasyon olup olmadığını görmek isteyebilirler.

Bot yöneticileri elbette yukarıdaki istatistiklerle ilgilenir, ancak botun sorunsuz çalışmasını sağlamakla da ilgilenirler. Botun farklı cihazlardaki performansına ilişkin analitiklere ve botun kullanılabilirliğine ilişkin istatistiklere ihtiyaç duyabilirler. Herhangi bir altyapı veya güvenlik sorunu yaşandı mı?

Sadece kullanıcı tabanının davranışlarıyla değil, aynı zamanda içeriği ne sıklıkla güncelledikleri veya akışı ne sıklıkla değiştirdikleri gibi süper kullanıcıların davranışlarıyla da ilgilenebilirler. Bu tür bilgiler güvenlik nedenleriyle de zorunlu olabilir.

Elbette botların geliştirme, hazırlama ve üretim ortamlarına ilerleyişine ilişkin bilgiler ve geliştirici sürümlerine ilişkin istatistikler vb. ile de ilgileneceklerdir.

Geliştiriciler, kurumsal sohbet botlarını daha iyi hale getirmek için bu bilgileri kullanabilecekleri ölçüde yukarıdakilerin hepsiyle ilgilenirler. Elbette, NLP başarısını test etmek gibi botlar için özel testlere sahip olacak test sürecinden çıkan istatistikler gibi hataları belirleyen istatistiklerle de ilgileneceklerdir. Ancak pratikte, geliştiriciler ve süper kullanıcılar özel analitiklerin uygulanmasında bunları izlemekten daha fazla yer almaktadır.

Sonuç - Chatbot Analitiğinin Geleceği

Analitiğin bot işlevselliğine entegre edilmesinin başarılı bir bot oluşturma için kritik önem taşıdığından kısaca bahsetmiştim. A/B testinin özel analitikleri entegre etmesi gerekir ve ardından görüşmeyi optimize etmek için basit bir algoritma kullanabilir. Botun performansını optimize etmek için daha karmaşık entegrasyon kullanılabilir, örneğin daha önce bahsedilen optimizasyon, zaman çizelgesi botunun (veya daha gerçekçi bir şekilde daha karmaşık bir oyunun) zorluğunun optimize edilmesini sağlar.

Google, Microsoft ve IBM gibi birçok büyük yazılım şirketi chatbot analitik hizmetleri sunmaktadır. Bu hizmetler kolaylıkla genel analitik sağlayabilse de, analitikten tam olarak faydalanmak için analitiğin özelleştirilmesi ve botun işlevselliğine, örneğin web siteleri gibi iletişimsel olmayan yazılımlardan farklı bir şekilde sıkıca bağlanması gerektiğini açıkça belirttim. Bu nedenle, kullanılan sohbet robotu çerçevesinin geliştiricilerin yönetici panelini özelleştirmesine izin vermesi çok önemlidir.

‍