챗봇 애널리틱스란 무엇인가요? 챗봇 애널리틱스 및 주요 챗봇 지표에 대해 자세히 알아보기

챗봇 분석은 챗봇이 제공하는 실시간 데이터입니다. 챗봇 이 사람들과의 상호작용을 통해 생성하는 실시간 데이터입니다. 이 데이터는 매우 유용하며 비즈니스에 큰 가치를 제공할 수 있습니다.

챗봇 분석 플랫폼에서 무엇을 찾아야 하나요?

챗봇 분석은 챗봇 성능과 전반적인 고객 경험을 개선하는 데 필수적인 도구입니다.

관리자에게 중요한 챗봇 분석의 첫 번째 세트는 일반적인 사용 통계입니다. 챗봇이 어떤 기기에서 얼마나 자주 사용되는지, 사용자 경험은 어떤지, 유지율은 얼마인지, 특정 기간 동안 이탈률은 얼마인지 등의 주요 메트릭이 있습니다. 이러한 통계는 웹사이트용 챗봇 분석 도구에서 얻을 수 있는 귀중한 인사이트입니다.

자연어 처리를 사용할 때 모든 chatbots 에 필요한 기타 일반적인 통계로는 오해된 문구, 가장 자주 사용되는 단어, 사람 개입/확대 인시던트 수 등과 같은 대화 분석이 있습니다.

위의 통계와 관련하여 이러한 통계가 측정될 뿐만 아니라 챗봇이 사용자 상호작용을 개선할 수 있는 방식으로 소프트웨어에 통합되는 것이 중요합니다. 예를 들어 NLP를 설정할 때 잘못 이해한 문구를 특정 의도와 관련된 문구 목록에 자동으로 추가하여 봇이 더 나은 대화 흐름을 개발할 수 있도록 할 수 있습니다. 관리자나 지원 상담원이 이러한 유형의 문구를 쉽게 추가하고 검증하여 봇이 빠르게 개선될 수 있도록 하는 것이 중요합니다.

챗봇 분석에 대한 사용자 지정 액세스의 중요성을 과소평가하지 마세요.

위의 모든 일반적인 분석도 중요하지만, 많은 경우 챗봇 데이터에 대한 사용자 지정 액세스가 훨씬 더 중요하다는 것이 밝혀졌습니다. 특히 챗봇을 출시하고 시범 운영할 때 더욱 그렇습니다. 봇 프로젝트를 시작할 때 스폰서는 채택과 사용 현황을 보여주고 싶어 하기 때문입니다. 따라서 스폰서는 시범 사용자에게 챗봇을 적절하게 마케팅하고, 제대로 작동하면 통계에 사용률과 챗봇의 성공이 잘 나타나도록 노력할 것입니다. 이는 또한 챗봇 플랫폼이 사용자에게 새로운 제품이기 때문에 처음에는 호기심을 갖고 사용하기 때문에 사용 통계를 인위적으로 부풀릴 수 있기 때문이기도 합니다.

그러나 챗봇 관리자가 관심을 갖는 것은 봇 사용에 문제가 있다는 신호로, 초기 통계가 나타내는 것만큼 사용량이 많지 않을 수 있다는 신호입니다. 통계상 사용량에 문제가 있는 것이 분명하더라도 스폰서는 사용량 문제가 발생하는 이유를 알고 싶어합니다.

일반적인 분석으로 문제를 쉽게 식별하고 해결할 수 있습니다. 예를 들어, 처음에 NLP 설정이 포괄적이지 않아 봇이 필요한 것보다 더 많은 것을 오해하는 경우가 종종 있습니다. 이 문제는 일반적으로 NLP 설정에서 관련 의도에 더 많은 문구를 추가하여 신속하게 수정할 수 있습니다.

맞춤형 챗봇 분석

사용자 지정 분석으로 챗봇 경험의 일반적인 문제를 해결하는 방법

문제를 진단하기 위해 맞춤형 분석이 필요한 경우가 많습니다. 예를 들어, 문제를 식별하기 위해 대화 흐름에 명시적인 피드백을 구축해야 할 수도 있습니다.

사용자 지정 분석은 봇이 보다 맞춤화된 챗봇일 때 특히 유용합니다.

간단한 접근 방식 대 복잡한 접근 방식 챗봇

예를 들어 챗봇이 일종의 의사 결정 트리를 통해 사용자를 안내하는 단순한 챗봇인데 사용량에 문제가 있는 경우, 일반적인 사용 통계만으로는 문제를 쉽게 파악할 수 있습니다. 분석은 사용자가 챗봇 대화에서 흥미를 잃고 대화를 포기한 지점을 나타낼 수도 있고, 사용자가 대화를 포기하기 전까지 봇에 소비한 시간을 나타낼 수도 있으며, 두 경우 모두 흐름이나 전반적인 봇 사용 사례에 문제가 있음을 나타낼 수 있습니다.

봇이 더 복잡한 경우, 즉 사용자 지정 로직이 있는 경우 일반 통계로는 전체 이야기를 알 수 없습니다. 사용자가 어떤 지점에서 이탈했는지는 알 수 있지만, 왜 이탈했는지는 알 수 없습니다.

간단한 예를 들어 보겠습니다. 아이들이 시간표를 학습할 수 있도록 챗봇을 구축한다고 가정해 보겠습니다. 기본적인 접근 방식은 어린이가 해당 시간표를 선택하면 봇이 선택한 시간표와 관련된 질문을 무작위로 출제하는 방식일 수 있습니다. 여기서 문제는 시간표를 학습하는 아이들의 수준이 서로 다르기 때문에 상호작용의 초반이나 후반에 질문이 너무 어렵다고 느끼면 참여율이 떨어질 수 있다는 것입니다.

이를 파악하려면 무엇보다도 문제의 난이도도 반영하는 분석이 필요하며(이상적으로는 자동으로 레벨을 조정해야 합니다). 이는 사용자 지정 분석에 내장되어야 합니다. 이는 챗봇 구축 플랫폼이 사용자 지정 분석을 지원하는 경우에만 가능합니다(또는 더 나아가 사용자 지정 분석을 쉽게 추가할 수 있어야 합니다).

사용자 지정 분석이 제공되면 개발자는 얻은 실행 가능한 인사이트를 사용하여 알고리즘을 사용하여 아동의 레벨을 질문과 일치시키는 등 정교한 접근 방식을 구현하여 게임 내 사용자 리텐션을 극대화할 수 있습니다.

차봇 애널리틱스를 위한 A/B 테스트

이제 맞춤형 분석과 관련된 중요한 주제인 A/B 테스트에 대해 알아보겠습니다. 모든 소프트웨어는 기능, 그래픽 및 콘텐츠 측면에서 무엇이 가장 효과적인지 처음부터 알기 어려우며, 이를 확실히 알 수 있는 유일한 방법은 다양한 대안을 A/B 테스트하는 것입니다.

이는 chatbots 에서도 마찬가지입니다. 사용자 지정 분석은 챗봇 구축 플랫폼 내부의 A/B 테스트 엔진에 연결되어야 합니다. 물론 봇 플랫폼 자체 내에서 사용자 지정 분석을 생성하고 태그를 지정할 수 있을 뿐만 아니라 대화 흐름 내에서 A/B 테스트를 정의하는 것도 중요합니다.

챗봇 분석을 위한 팀원 역할

챗봇의 스폰서, 관리자, 개발자는 모두 필요한 애널리틱스를 정의하는 데 도움을 줄 책임이 있습니다. 앞서 언급했듯이 사용자 지정 분석은 적어도 봇이 처리하는 사용 사례에 따라 달라집니다.

스폰서는 대화형 인터페이스의 도입에 관심을 갖고 있으며, 도입을 방해하는 장애물이나 사용자 만족도에 부정적인 영향을 미칠 수 있는 기타 문제를 해결하려고 노력하고 있습니다.

챗봇 분석에 필수적인 성능 지표는 무엇인가요?

일반적인 챗봇 분석 관점에서 볼 때, 챗봇 기업은 다음과 같은 주요 챗봇 지표와 KPI에 관심을 가질 것입니다:

• 인터랙션 수(노드) 흐름 수
• 채팅 시간
• 오해/오해된 진술의 비율
• 명령문의 단어 맵
• 오해의 소지가 있는 문장의 단어 지도
• 잘못 이해된 사용자 쿼리 목록
• 시작된 흐름의 수
• 반복 흐름 횟수
• 사용량별 흐름 순위
• 오해의 소지가 있는 문구별 흐름 순위
• 인적 인수 횟수
• 로그인 횟수
• 성공적인 완료 횟수
• 반복 사용자 수
• 기간당 활성 사용자 수
• 로그인 횟수
• 네임드/사용자 대비 활성 비율

물론 특정 기간의 위 통계를 보거나 다른 필터를 사용하는 데 관심이 있을 수 있습니다.

개발자가 사용자 지정 챗봇 분석 데이터를 사용하여 챗봇 상호작용을 개선하는 방법은 무엇인가요?

사용자 지정 분석의 경우, 일반적으로 대화 흐름의 노드로 수동으로 입력되는 피드백, 특히 각 흐름의 엔드포인트(결과의 성공 여부)에 관심이 있을 수 있습니다. 피드백 등급별로 플로우의 순위에 관심이 있을 수 있습니다.

시간표 챗봇을 예로 든다면, 난이도와 참여도(통과한 노드 수) 사이에 상관관계가 있는지 확인하고 싶을 수 있습니다.

봇 관리자는 물론 위의 통계에도 관심이 있지만 봇의 원활한 운영에도 관심이 있습니다. 다양한 디바이스에서 봇의 성능에 대한 분석과 봇의 가용성에 대한 통계가 필요할 수 있습니다. 인프라 또는 보안 문제가 있었나요?

사용자 기반의 행동뿐만 아니라 콘텐츠를 업데이트하거나 흐름을 수정하는 빈도와 같은 슈퍼 유저의 행동에도 관심이 있을 수 있습니다. 이러한 종류의 정보는 보안상의 이유로 의무적으로 수집해야 할 수도 있습니다.

물론 개발, 스테이징, 프로덕션 환경, 개발자 릴리스 등에 대한 통계 등 봇의 진행 상황과 관련된 정보에도 관심이 있을 것입니다.

개발자는 위의 모든 정보를 사용하여 chatbots 기업을 개선할 수 있는 한도 내에서 위의 모든 것에 관심이 있습니다. 물론 NLP 성공 여부 테스트와 같은 봇에 대한 특수 테스트가 있는 테스트 프로세스에서 나오는 통계와 같이 버그를 식별하는 통계에도 관심이 있을 것입니다. 그러나 실제로는 개발자와 슈퍼 유저가 사용자 지정 분석을 모니터링하는 것보다 구현하는 데 더 많이 관여합니다.

결론 - 챗봇 분석의 미래

성공적인 봇 구축을 위해서는 봇 기능에 애널리틱스를 통합하는 것이 중요하다고 간략하게 언급했습니다. A/B 테스트는 사용자 지정 분석을 통합해야 하며, 간단한 알고리즘을 사용하여 대화를 최적화할 수 있습니다. 더 복잡한 통합을 통해 봇의 성능을 최적화할 수도 있는데, 앞서 언급한 시간표 봇(또는 더 현실적으로는 더 복잡한 게임)의 난이도를 최적화하기 위한 최적화와 같이 봇의 성능을 최적화하는 데 사용할 수 있습니다.

Google, Microsoft, IBM과 같은 많은 대형 소프트웨어 회사에서 챗봇 분석 서비스를 제공합니다. 이러한 서비스는 일반적인 분석을 쉽게 제공할 수 있지만, 분석의 이점을 최대한 활용하려면 분석이 웹사이트와 같은 비대화형 소프트웨어와는 다른 방식으로 봇의 기능과 긴밀하게 연결되고 맞춤화되어야 한다는 점을 분명히 말씀드리고 싶습니다. 따라서 사용되는 챗봇 프레임워크는 개발자가 관리자 패널을 사용자 지정할 수 있도록 하는 것이 필수적입니다.

‍