잠재 고객과 사용자로부터 가장 자주 받는 질문 중 하나는 “의도 분류기는 어디에 있나요?”입니다.
저희는 인텐트 분류기를 제공하지 않습니다. 네, 일부러 그렇게 했습니다.
Botpress는 LLM을 사용해 사용자의 의도를 파악합니다. 왜일까요? 챗봇을 만들거나 AI 에이전트를 구축할 때, 빌더와 사용자 모두에게 훨씬 더 뛰어난 경험을 제공합니다.
이 입장에 대해 확고한 생각을 가지고 있기 때문에, 왜 인텐트 분류기를 사용하지 않는지 몇 분만 시간을 내어 설명드리고자 합니다.
요약: 더 쉽게 만들 수 있고, 더 정확하며, 유지 관리도 간단합니다.
예전(LLM 이전) 시절
(인텐트 분류기가 무엇이고 어떤 역할을 하는지 이미 알고 계시다면 이 부분은 건너뛰셔도 됩니다.)
인텐트 분류기는 학습 데이터를 기반으로 사용자의 입력을 미리 정의된 인텐트로 분류하는 도구입니다.
개발자는 각 인텐트마다 수많은 예시를 수집하고 라벨링해야 하며, 시스템이 사용자 입력을 이 예시들과 잘 매칭하기를 기대해야 합니다.
예를 들어, 이커머스 챗봇의 경우 개발자는 "TrackOrder"와 같은 인텐트를 정의할 수 있습니다. 예시 문장으로는 "내 택배 어디 있지?", "주문 추적해줘", "배송 상태 확인해줄 수 있어?" 등이 있을 수 있습니다.
즉, AI 에이전트가 사용자의 의도를 인식하도록 예시를 직접 입력해가며 훈련시키는 것입니다. 네, 이 모든 예시를 직접 입력해야 합니다.
다행히도, LLM이 발전하면서 이런 수작업으로 가능한 모든 발화를 인텐트에 매핑하는 작업은 거의 사라졌습니다.
하지만 여전히 많은 대화형 AI 플랫폼에서는 인텐트 분류기를 사용합니다. 왜일까요? 곧 설명드리겠습니다.
인텐트 분류기의 4가지 단점
단순히 과정이 오래 걸린다는 것만이 아닙니다. 인텐트 분류기는 여러 이유로 비효율적입니다. 그 중 몇 가지를 소개합니다:
1. 데이터 의존성
인텐트 분류기는 데이터가 많이 필요합니다. 각 인텐트마다 방대한 사용자 예시 데이터셋이 있어야 정확하게 동작합니다. 그렇지 않으면 입력을 제대로 분류하지 못합니다.
그리고 이런 데이터셋을 만드는 일은 매우 번거롭습니다. 개발자는 끝없는 시간을 들여 예시를 수집하고 라벨링해야 하며, 이는 분명히 시간 낭비입니다.
2. 확장성의 한계
인텐트 분류기는 확장에 적합하지 않습니다. 새로운 인텐트를 추가하려면 더 많은 데이터를 수집하고 모델을 다시 학습시켜야 하므로 개발 과정에 병목이 생깁니다. 또한 언어 사용이 변하면 발화도 바뀌기 때문에 유지 관리도 어렵습니다.
3. 언어 이해력 부족
인텐트 분류기는 진정한 언어 이해력이 부족합니다. 다음과 같은 언어 변형에 약합니다:
- 동의어
- 바꿔 말한 문장
- 모호한 표현
- 오타
- 익숙하지 않은 구어체
- 불완전한 입력
또한 대부분의 경우 각 발화를 개별적으로 처리하기 때문에, 대화의 맥락을 유지하지 못합니다.
4. 과적합
인텐트 분류기는 과적합에 취약합니다. 즉, 학습 예시만 외우고 일반적인 패턴을 학습하지 못합니다.
이로 인해 이미 본 문장에는 잘 반응하지만, 새로운 입력이나 변형된 표현에는 약합니다. 따라서 실제 업무 환경에는 적합하지 않습니다.
LLM이 더 나은 6가지 이유
LLM은 이런 문제를 거의 해결했습니다. 맥락과 뉘앙스를 이해하며, 개발자가 별도의 학습 데이터를 입력하지 않아도 바로 사용할 수 있습니다. LLM 기반 에이전트는 생성 즉시 대화를 시작할 수 있습니다.
1. 제로샷 학습 능력
LLM은 예시 없이도 학습할 수 있습니다. 방대한 사전 학습 덕분에, 개발자가 별도의 예시를 입력하지 않아도 이미 맥락과 뉘앙스, 의도를 이해합니다.
2. 뉘앙스 이해
LLM은 인텐트 분류기가 약한 부분에서 뛰어납니다. 관용구, 풍자, 모호한 언어도 쉽게 해석할 수 있습니다.
다양한 데이터셋으로 폭넓게 학습했기 때문에, 인텐트 분류기가 놓치는 인간 대화의 미묘한 뉘앙스까지 파악할 수 있습니다.
3. 뛰어난 맥락 유지
LLM은 대화의 흐름을 놓치지 않습니다. 이전에 했던 말을 기억해 자연스럽고 일관된 대화를 이어갑니다.
이런 맥락 이해 덕분에 모호한 입력도 쉽게 해석할 수 있습니다. 입력이 애매하거나 복잡해도, 전체 대화 흐름을 참고해 의미를 파악합니다.
4. 확장성
LLM은 확장성 면에서도 월등합니다. 새로운 주제를 다루기 위해 재학습이 필요하지 않으며, 언어에 대한 폭넓은 이해 덕분입니다.
따라서 거의 모든 사용 사례에 바로 적용할 수 있습니다. 멀티 에이전트 시스템에서도 인텐트 분류기 대신 LLM을 사용하는 것이 당연합니다.
5. 유연성
LLMs은 딱딱한 템플릿에 의존하지 않습니다. 유연하게 다양한 답변을 제공해, 대화가 자연스럽고 상황에 맞게 진행됩니다. 인텐트 분류기보다 훨씬 나은 사용자 경험을 제공합니다.
6. 더 적은 학습 데이터
LLMs은 작업별로 라벨링된 데이터 없이도 충분히 동작합니다. 다양한 텍스트로 대규모 사전 학습을 했기 때문에, 별도의 데이터셋에 의존하지 않습니다.
필요하다면 개발자는 언제든 LLMs을 맞춤화할 수 있습니다. 예를 들어, LLMs은 적은 데이터로도 파인튜닝이 가능해, 특정 산업이나 용도에 빠르게 적응할 수 있습니다.
다른 회사들은 왜 의도 분류기를 사용할까요?
좋은 질문입니다. LLM이 의도 분류에서 훨씬 뛰어나다면, 왜 여전히 많은 회사들이 의도 분류기를 사용할까요?
정답은 그리 멋지지 않습니다. 외교적으로 들리진 않지만, 결국 구식 기술의 문제입니다.
대부분의 회사는 인텐트 분류기에 많은 투자를 해왔습니다. 이미 그 기반 위에 방대한 시스템을 구축했기 때문에, 기존 시스템에서 벗어나도록 유도할 이유가 없습니다.
하지만 Botpress는 LLM 우선입니다
LLMs은 구식 인텐트 분류기보다 훨씬 뛰어난 의도 파악 능력을 가집니다. 그래서 저희는 2020년에 LLM 우선 구조로 완전히 새롭게 개발했습니다.
더 나은 기술이 등장했음을 알았고, 구식 기술에 집착하지 않고 과감히 도약하기로 결정했습니다.
우리가 의도 분류기를 추가할 예정인가요?
아니요. 저희는 빌더와 사용자 경험을 매우 중요하게 생각합니다.
인텐트 분류의 미래
인텐트 분류기는 과거의 도구입니다. 그래서 저희는 LLM에 전적으로 집중했습니다.
LLM이 계속 발전함에 따라, Botpress로 구축된 AI 에이전트도 함께 발전할 것입니다. 대화형 AI의 기준을 계속 높여갈 준비가 되어 있습니다.
LLM 기반의 유연한 AI 에이전트를 만들고 싶으시다면, Botpress에서 바로 시작해보세요. 무료입니다.
