구축과 배포는 AI 챗봇 구축의 첫 단계일 뿐이며, 배포 후에는 챗봇 분석을 통해 프로젝트를 모니터링할 준비가 된 것입니다.
실제 챗봇 또는 AI 에이전트 프로젝트는 성능을 관찰하고 개선하기 위해 메트릭을 추적해야 합니다.
다년간의 엔터프라이즈 챗봇 배포 경험을 바탕으로 저희 팀은 성공적인 챗봇 배포를 모니터링하고 반복적으로 반복하는 데 능숙합니다. 챗봇의 분석을 최대한 활용하지 않는 것은 기업들이 챗봇을 배포할 때 흔히 저지르는 실수 중 하나입니다.
다음은 챗봇 분석을 시작하는 데 도움이 되는 간단한 가이드입니다.
챗봇 분석이란 무엇인가요?
챗봇 분석에는 선택한 메트릭을 통해 챗봇의 성과와 상호작용을 추적, 측정, 분석하는 작업이 포함됩니다.
이러한 분석은 사용자가 챗봇에 참여하는 방식, 효과, 비즈니스 목표에 미치는 전반적인 영향에 대한 인사이트를 제공합니다.
챗봇 분석을 측정해야 하는 이유는 무엇인가요?
프로젝트에 관계없이 AI 챗봇의 분석을 측정해야 합니다.
AI 챗봇 프로젝트는 구축, 배포, 모니터링의 3단계로 이루어집니다. 모니터링 단계의 핵심은 의미 있는 챗봇 분석을 측정하고 챗봇에 반복적으로 적용하는 것입니다.
챗봇을 성공적으로 배포하려면 적절한 모니터링이 필수적이며, 추적 분석을 통해 챗봇의 개선 여지가 있는 영역과 가장 높은 ROI를 제공하는 영역을 파악할 수 있습니다.
챗봇 성과를 측정하는 방법: 단계별
1. 챗봇의 목표 정의하기
챗봇의 목적을 파악하는 것부터 시작하세요. 어떤 구체적인 결과를 원하시나요? 고객 지원 챗 봇과 리드 생성 챗봇은 HR 챗봇과는 전혀 다른 목표를 가지고 있습니다.
일반적인 목표에는 고객 지원 개선, AI를 통한 리드 생성, 영업 지원 또는 사용자 참여 증가 등이 있습니다.
2. 목표를 KPI에 연결
그런 다음 목표를 반영하는 KPI를 선택할 수 있습니다:
고객 지원 개선이 목표라면 해결 시간 2분 미만, 티켓 이탈률 40% 이상, 고객 만족도 점수 85% 이상을 KPI로 설정할 수 있습니다.
리드 생성이 목표인 경우, 주당 50개의 적격 리드 생성 또는 리드 전환율 20%를 KPI로 설정할 수 있습니다.
3. KPI에 부합하는 지표 모니터링
다음으로, 어떤 특정 지표가 KPI에 영향을 미치는지 파악할 수 있습니다.
예를 들어 사용자 참여에 대한 메트릭은 다음에 연결됩니다:
- 재방문 사용자 수
- 챗봇의 제품 추천에 대한 참여 여부
- 챗봇을 사용하는 전체 웹사이트 방문자 수
4. 메트릭을 금전적 가치에 연결
챗봇 투자의 성과를 파악하려면 챗봇이 미치는 영향을 정량화해야 합니다.
예를 들어
- 챗봇이 지원 티켓을 줄이면 자동으로 쿼리를 해결하여 인건비를 얼마나 절약할 수 있는지 계산해 보세요.
- 리드 생성을 늘리는 것이 목표인 경우 리드당 평균 수익을 계산하고 봇이 생성하는 리드 수에 곱합니다.
이 단계는 챗봇의 ROI를 계산하는 데 있어 핵심적인 부분입니다.
5. 반복 및 개선
챗봇 분석 모니터링은 지속적으로 진화하는 프로세스입니다.
챗봇의 성능을 정기적으로 검토하세요. 데이터를 분석하여 높은 드롭오프 지점, 일반적인 오류 또는 비효율적인 해결 경로와 같은 패턴을 파악하세요.
새로운 기능이 추가되거나 사용 사례가 확장되는 등 챗봇이 발전함에 따라 추적하는 메트릭을 KPI와 함께 조정하고 확장해야 합니다.
추적해야 할 9가지 챗봇 지표
1. 상호작용 횟수
가장 중요한 지표 중 하나는 가장 기본적인 것으로, 사람들이 챗봇을 사용하고 있나요?
그렇지 않다면 팀에서 표지판을 더 잘 만들거나 챗봇을 프로세스의 필수 단계로 만들어야 합니다(예: 직원에게 인사 담당자나 챗봇을 통해 휴가 일정을 잡을 수 있는 옵션을 제공하는 대신 챗봇을 통해서만 휴가 일정을 잡을 수 있도록 하는 것).
2. 평균 채팅 시간(시간 및 주고받은 메시지 수 모두)
이상적인 챗봇 상호작용은 효율적이고 도움이 됩니다. 상호작용이 너무 오래 걸리는 경우 병목 현상을 파악하여 줄여보세요.
3. 시작된 흐름 수
챗봇이 문제를 즉시 식별하고 해결하나요, 아니면 여러 플로우를 순환하며 해결책을 찾나요?
4. 반복 흐름 횟수
챗봇이 동일한 흐름을 반복한다면 비효율적이라는 신호입니다. 챗봇이 처음부터 사용자의 요구를 제대로 인식하지 못했기 때문일 수 있습니다.
5. 챗봇 봉쇄율
챗봇 포함률은 챗봇과 상호작용하여 사람과 상호작용할 필요 없이 상호작용을 완료한 사용자 수를 나타냅니다.
성공적인 챗봇은 사람의 도움이 필요한 상호작용이 항상 존재하기 때문에 약 65%의 격리율을 보일 수 있습니다.
6. 반복 사용자 수
챗봇이 유용하다면 재방문 사용자가 표시되어야 합니다.
7. 기간별 활성 사용자 수
사용자가 챗봇과 상호작용하는 시간을 파악하면 실시간 상담원의 교대 근무 일정을 결정하는 데 도움이 될 수 있습니다.
8. CSAT(고객 만족도 점수)
직접 피드백은 챗봇의 효과를 쉽게 측정할 수 있는 방법입니다.
9. 평균 응답 시간
챗봇의 목표가 고객이나 리드의 대기 시간을 줄이는 것이라면 고객이 인간 상담원과 통화하기까지 얼마나 기다려야 하는지 추적해야 합니다.
챗봇이 제대로 작동한다면 대기 시간을 크게 줄일 수 있을 것입니다.
고급 챗봇 애널리틱스 사용 방법
최고의 챗봇 플랫폼에서는 사용자와 팀이 챗봇 분석을 추적하기 위한 사용자 지정 지표를 설정할 수 있습니다.
사용자 지정 분석은 가치가 높은 작업을 식별하고 챗봇이 이를 추적하도록 지시해야 합니다.
예를 들어, Botpress 을 통해 구독 사용자는 '이벤트 추적' 카드를 추가한 모든 이벤트를 추적할 수 있습니다.
이러한 종류의 고급 분석을 통해 사용자는 매우 구체적인 이벤트를 추적할 수 있습니다. 예를 들어
- 봇이 지식창고를 사용하여 질문에 답변할 수 없는 횟수
- 상호작용 중 사용자가 봇을 방해하는 빈도
- 이커머스 챗봇이 결제에 실패하는 횟수
- 특정 시간 또는 흐름에 따라 사용자가 챗봇을 포기하는 빈도
- 챗봇이 추천하는 상품에 사용자가 참여하는 빈도
- 챗봇이 제품 또는 서비스를 상향 판매하거나 교차 판매하는 빈도
고급 분석을 통해 팀은 개선의 여지를 정확히 파악할 수 있습니다.
사용자가 챗봇 흐름의 모든 부분에 어떻게 참여하는지 이해하면 더 나은 결과를 위해 프로세스를 끊임없이 최적화할 수 있습니다.
분석 대시보드에서 살펴봐야 할 사항
챗봇 애널리틱스 플랫폼에는 다양한 옵션이 있습니다. 대부분의 챗봇 플랫폼은 자체 분석 대시보드와 함께 제공되지만, 분석 애드온을 통해 이를 강화할 수 있습니다. 이는 오픈 소스 챗봇 분석에도 유용합니다.
높은 수준의 챗봇 분석 플랫폼을 찾을 때 주의해야 할 몇 가지 기능은 다음과 같습니다:
실시간 모니터링
고급 챗봇 분석 플랫폼의 핵심 기능은 실시간으로 성과를 추적할 수 있는 기능입니다. 이를 통해 팀은 최신 데이터를 확인할 수 있을 뿐만 아니라 문제나 이상 징후에 신속하게 대응할 수 있습니다.
예를 들어, 비정상적이거나 격리율 감소와 같은 문제에 대한 실시간 알림을 설정할 수 있습니다.
비즈니스 시스템과의 통합
챗봇의 데이터를 데이터 시각화 및 BI 도구로 원활하게 내보낼 수 있는 기능(예: Tableu 또는 Google Analytics - 와 같은 시각화 및 BI 도구로 데이터를 원활하게 내보낼 수 있으므로 모든 사람이 챗봇 플랫폼에 로그인할 필요 없이 팀 전체에서 인사이트를 쉽게 공유할 수 있습니다.
사용자 지정 가능한 지표
사용자 지정 가능한 메트릭, 즉 '고급 분석'을 통해 팀은 챗봇의 흐름 중 특정 부분을 집중적으로 분석할 수 있습니다.
다음 달에 챗봇 배포
다년간의 AI 챗봇 및 AI 에이전트 배포 경험을 보유한 Botpress 은 엔터프라이즈 및 개인 개발자를 위한 선도적인 챗봇 플랫폼입니다.
무한한 확장성과 사용자 정의가 가능한 플랫폼을 통해 봇 빌더는 모든 산업에 걸쳐 모든 사용 사례에 맞는 챗봇을 구축할 수 있습니다.
사전 구축된 통합 라이브러리를 통해 다양한 채널과 플랫폼에 원활하게 배포할 수 있습니다.
광범위한 교육 라이브러리와 20,000명 이상의 봇 빌더로 구성된 활발한 Discord 커뮤니티를 통해 고급 챗봇을 구축하는 방법을 알아보세요.
↪CF_200D↩↪CF_200D↩지금 바로 시작하세요. 무료입니다.
.svg)
.webp)
