聊天機器人分析是聊天機器人 通過與人互動生成的實時數據。這些數據非常有用,併為您的業務帶來巨大價值。
我應該在聊天機器人分析平台中尋找什麼?
聊天機器人分析是提高聊天機器人性能和整體客戶體驗的重要工具
對管理員很重要的第一組聊天機器人分析是通用使用方式統計資訊。關鍵指標,例如使用的聊天機器人、在哪些設備上、多久使用一次、用戶體驗如何、保留率是多少以及給定時間範圍內的跳出率是多少等?這些是您從網站的聊天機器人分析工具中獲得的有價值的見解。
所有需要的其他通用統計資訊 chatbots 當使用 自然語言處理 時,對話分析,如誤解的短語、最常用的單詞、人為干預/升級事件的數量等。
當涉及到上述統計數據時,重要的是不僅要測量這些統計數據,而且要將這些統計數據集成到軟體中,以使聊天機器人更好地進行使用者交互。例如,在 設置 NLP 時,可以自動將誤解的短語添加到與給定意圖關聯的短語清單中,以便機器人開發更好的對話流。管理員或更可能的支援代理必須輕鬆添加和驗證這些類型的短語,以便機器人快速改進。
不要低估自定義訪問聊天機器人分析的重要性
雖然上述所有通用分析都很重要,但事實證明,在許多情況下,對聊天機器人數據的自定義訪問更為重要。當聊天機器人正在推出和試點時尤其如此。這是因為在機器人項目開始時,贊助商渴望展示採用和使用方式。因此,他們將嘗試確保機器人向試點使用者充分行銷,如果他們正確完成工作,統計數據將顯示良好的使用方式和聊天機器人的成功。這也部分是因為聊天機器人平臺對於他們最初可能好奇使用它的用戶來說是一種新穎的產品,這可能會人為地誇大使用統計數據。
然而,聊天機器人管理員感興趣的是機器人使用存在問題的跡象,這表明使用可能不像初始統計數據所表明的那樣強大。即使統計數據清楚地表明存在使用問題,贊助商也想知道為什麼會發生使用問題。
通過通用分析可以輕鬆識別和修復該問題。例如,在開始時,NLP 設置通常沒有達到應有的全面程度,因此機器人誤解得比它應該的多。這個問題通常通過在 NLP 設置中的相關意圖中添加更多短語來快速糾正。
自訂聊天機器人分析
自定義分析如何解決聊天機器人體驗的常見問題
通常需要自定義分析來診斷問題。例如,可能需要在對話流中內置顯式反饋才能識別問題。
當機器人是更加自定義的聊天機器人時,自定義分析也特別令人感興趣。
簡單方法與複雜方法聊天機器人
如果聊天機器人很簡單,例如,它引導使用者通過某種決策樹,並且存在使用問題,則僅從通用使用方式統計資訊中就很容易識別問題。分析可以指示聊天機器人對話中使用者失去興趣並放棄對話的點,也可以指示在使用者放棄機器人之前在機器人上花費的時間量,在這兩種情況下,這都可能表明流程或機器人用例整體存在問題。
如果機器人更複雜,即它具有自定義邏輯,則通用統計資訊將無法說明全部情況。他們可能能夠告訴您使用者放棄的要點,但他們無法告訴您用戶放棄的原因。
想像一下一個簡單的例子。你建立了一個聊天機器人來説明孩子們學習他們的時程表。一種基本方法可能是讓孩子們選擇有問題的時程表,機器人隨機化有關所選時程表的問題。這裏的問題是,學習時程表的孩子處於不同的水準,因此,如果他們在互動開始時甚至後期發現問題太難,成功參與率可能會下降。
為了解決這個問題,我們需要分析來反映問題的難度(理想情況下會自動調整級別)。這需要內置到自定義分析中。只有當聊天機器人構建平臺支援自定義分析(或者更確切地說,輕鬆添加自定義分析)時,才能做到這一點。
自定義分析可用后,開發人員可以使用獲得的可操作見解來實現複雜的方法,例如使用演算法將孩子的水準與提出的問題相匹配,以最大限度地提高用戶在遊戲中的保留率。
Chabot Analytics 的 A/B 測試
這給我們帶來了一個與定製分析相關的關鍵主題,即A / B測試。對於任何軟體,一開始就很難知道什麼在功能、圖形和內容方面效果最好,唯一確定的方法是對不同的替代方案進行 A/B 測試。
對於 chatbots 也。自定義分析需要連結到聊天機器人構建平臺內的A / B測試引擎。當然,在機器人平臺本身中,不僅能夠生成和標記自定義分析很重要,而且在聊天流中定義 A/B 測試也很重要。
聊天機器人分析的團隊成員角色
聊天機器人的贊助者、經理和開發人員都負責幫助定義所需的分析。如前所述,自定義分析至少取決於機器人解決的用例。
贊助者顯然對採用對話介面感興趣,並試圖找出採用的任何障礙或任何其他可能對用戶滿意度產生負面影響的問題。
聊天機器人分析的基本性能指標是什麼?
從通用聊天機器人分析的角度來看,聊天機器人公司會對以下關鍵的聊天機器人指標和 KPI 感興趣:
- 交互(節點)數 流數
- 聊天時長
- 誤解/理解陳述的百分比
- 語句的詞映射
- 被誤解的陳述的詞圖
- 被誤解的使用者查詢清單
- 啟動的流數
- 重複流數
- 按使用情況對流量進行排名
- 按誤解的陳述對流量進行排名
- 人工接管次數
- 登錄次數
- 成功完成次數
- 重複用戶數
- 每個週期的活躍用戶數
- 登錄次數
- 活動使用者與指定/使用者的百分比
他們可能有興趣查看特定時期的上述統計數據,或者當然使用其他篩檢程式。
開發人員如何使用自定義聊天機器人分析數據來改善聊天機器人交互?
在自定義分析方面,他們可能對通常作為會話流中的節點手動輸入的反饋感興趣,尤其是在每個流的端點處(無論結果是否成功)。他們可能對按反饋評級對流量進行排名感興趣。
對於我們給出的時程表聊天機器人的例子,他們可能有興趣查看難度級別與參與度(遍曆的節點數)之間是否存在任何相關性。
機器人管理員當然對上述統計數據感興趣,但也對確保機器人的平穩運行感興趣。他們可能需要分析機器人在不同設備上的性能,並提供有關機器人可用性的統計資訊。是否存在任何基礎結構或安全問題?
他們可能不僅對使用者群的行為感興趣,還對超級用戶的行為感興趣,例如他們更新內容或修改流的頻率。出於安全原因,此類資訊也可能是強制性的。
當然,他們也會對有關機器人從開發到暫存再到生產環境的進展以及開發人員發佈等統計數據的資訊感興趣。
開發人員對上述所有內容都感興趣,因為他們可以使用這些資訊來建立他們的企業 chatbots 更好。當然,他們會對識別錯誤的統計數據感興趣,例如測試過程中的統計數據,這些統計數據將對機器人進行特殊測試,例如測試 NLP 成功。然而,在實踐中,開發人員和超級使用者更多地參與實施自定義分析,而不是監控它們。
結論 - 聊天機器人分析的未來
我簡要提到,將分析集成到機器人功能中對於成功構建機器人至關重要。A / B測試需要整合自定義分析,然後可以使用簡單的演算法來優化對話。更複雜的集成可用於優化機器人的性能,例如前面提到的優化,以確保優化時程表機器人(或更現實的更複雜的遊戲)的難度。
許多大型軟體公司,如谷歌、Microsoft和 IBM 都提供聊天機器人分析服務。儘管這些服務可以輕鬆提供通用分析,但我明確指出的是,為了獲得分析的全部好處,需要自定義分析,並以不同於非對話軟體(例如網站)的方式與機器人的功能緊密耦合。因此,所使用的聊天機器人框架必須允許開發人員自定義管理面板。