대규모 언어 모델의 등장으로 코드 작성부터 캘린더 관리까지 모든 것을 처리할 수 있는 봇인 제너럴리스트 AI 에이전트에 대한 기대가 높아졌습니다. 하지만 실제 엔터프라이즈 환경에서는 이러한 에이전트가 종종 벽에 부딪힙니다.
인상적인 데모 자료이지만 프로덕션에 바로 사용할 수 있는 것은 아닙니다.
기업에게 필요한 것은 시스템과 긴밀하게 통합되고 특정 비즈니스 문제를 해결하도록 범위가 지정된 비즈니스 챗봇, 즉 목적에 맞게 구축된 AI 에이전트입니다. 바로 이 부분에서 버티컬 AI 에이전트가 중요한 워크플로우에서 일반 코파일럿보다 뛰어난 성능을 발휘하고 있습니다.
그렇다면 버티컬 AI 에이전트란 정확히 무엇이며, 왜 기업에 더 적합한 것일까요? 그 이유를 알아봅시다.
버티컬 AI 에이전트란 무엇인가요?
버티컬 AI 에이전트는 특정 비즈니스 기능 내에서 명확하게 정의된 작업을 수행하도록 구축된 도메인별 시스템입니다. 하나의 모델로 모든 작업을 수행하려는 제너럴리스트 에이전트와 달리 수직적 에이전트는 알려진 컨텍스트 내에서 작동하도록 설계되어 작업에 중요한 구조화된 데이터, 규칙 및 시스템에 액세스할 수 있습니다.
실제로 이러한 에이전트는 단순히 '말만 잘하는' 것이 아니라 목적을 가지고 행동합니다. 물류 분야의 버티컬 에이전트는 차량 가용성과 실시간 트래픽을 기반으로 배송 경로를 최적화할 수 있습니다. 의료 분야에서는 엄격한 논리에 기반하여 보험 확인, 후속 조치 예약, 접수 처리 등을 수행할 수 있습니다.
버티컬 에이전트를 사용하는 팀은 더 빠르게 채택하고, 작업 성공률을 높이고, 오류를 줄이고 있습니다. 핵심은 무엇일까요? 이러한 에이전트는 일반적인 프롬프트에 의존하지 않습니다. 이러한 에이전트는 API, 규칙 및 구조화된 데이터에 기반을 두고 있으며, 한 가지 작업을 정말 잘 수행하도록 설계되었습니다.
수직적 AI 에이전트의 작동 방식
일반 AI 에이전트는 방대한 공개 데이터 세트에서 학습되어 텍스트 생성에는 능숙하지만 구조화된 비즈니스 환경에서는 신뢰할 수 없습니다. 환각을 일으키고 API 호출에 어려움을 겪으며 엄격한 워크플로를 따르지 못합니다. 버티컬 에이전트는 구조, 논리, 통합을 통해 이러한 한계를 해결하도록 설계되었습니다.
다음은 실제로 수직 에이전트가 어떻게 설계되는지, 그리고 각 계층이 범용 LLMs 핵심 한계를 어떻게 해결하는지에 대한 설명입니다:
직접 API 액세스
일반 모델은 복잡한 툴로 감싸지 않으면 내부 시스템과 상호 작용할 수 없습니다. 버티컬 에이전트는 CRM, ERP 또는 스케줄링 플랫폼에 직접 연결하여 실시간 데이터를 가져오고, 기록을 생성하고, 워크플로를 안정적으로 트리거할 수 있습니다.
내장된 비즈니스 로직
수직적 상담원은 즉흥적인 요령에 의존하는 대신 잘 정의된 규칙과 흐름 내에서 운영됩니다. 다른 백엔드 시스템과 마찬가지로 무엇이 유효한지, 어떤 단계를 따라야 하는지, 회사 정책에 따라 어떻게 행동해야 하는지 잘 알고 있습니다.
구조화된 데이터 처리
자연어로 학습된 LLMs JSON, SQL 또는 리지드 스키마에서는 제대로 작동하지 않습니다. 버티컬 에이전트는 자유 형식 사용자 입력과 구조화된 백엔드 형식 사이를 번역하여 이러한 격차를 해소하고 출력이 제대로 작동하도록 보장합니다.
중요한 사항으로 좁혀진 컨텍스트
제너럴리스트 모델은 환불 정책이 Wikipedia 더 중요하다는 사실을 모릅니다. 수직적 에이전트는 SOP, 정책 문서 또는 지식 기반과 같은 도메인별 지식에 기반을 두고 있으므로 관련성이 있는 범위 내에서만 작동합니다.
LLM 하나의 구성 요소일 뿐입니다.
수직 에이전트에서 LLM 요약, 해석 또는 자연스러운 응답을 위해 사용되는 보조적인 역할을 합니다. 하지만 로직, 메모리 및 액세스 제어가 적용되는 시스템 내부에 포함되어 있으므로 프로덕션에 안전하게 사용할 수 있습니다.
이러한 계층을 통해 수직적 에이전트는 제너럴리스트 모델에는 없는 구조를 갖추게 됩니다. 이들은 교묘한 유도나 희망에 의존하지 않고 액세스, 책임감, 실제 비즈니스 요구 사항에 대한 조율을 통해 운영됩니다.
비즈니스 워크플로우에 수직형 AI 에이전트가 더 나은 이유
대부분의 엔터프라이즈 워크플로는 개방형이 아니며, 규칙을 따르고 유효성 검사가 필요하며 내부 시스템의 실시간 데이터에 의존합니다. 제너럴리스트 상담원은 여기서 어려움을 겪습니다. 제너럴리스트 상담원은 답변을 생성할 수는 있지만 대규모 사용자 지정 없이는 프로세스를 안정적으로 따르거나 제약 조건을 준수할 수 없습니다.
수직적 AI 에이전트는 처음부터 구조적으로 구축됩니다. 단일 사용 사례로 범위가 정해져 있고, 이를 지원하는 시스템과 통합되어 있으며, 이를 관리하는 로직을 인식합니다. 따라서 배포가 더 빠르고, 테스트가 더 쉬우며, 프로덕션 환경에서 훨씬 더 안정적입니다.
또한 혼란을 덜 유발합니다. 일반적인 모델을 과도하게 요구하고 컨텍스트를 이해하기를 바라는 대신 수직 에이전트는 API, 비즈니스 규칙 및 사전 정의된 플로우를 기반으로 합니다. 따라서 신뢰, 확장 및 유지 관리가 더 쉬워집니다.
버티컬 AI 에이전트의 주요 사용 사례
버티컬 에이전트는 미래형 비서가 아니라 실제 운영상의 어려움을 해결하는 집중형 시스템으로 이미 생산 현장에 등장하고 있습니다. 이들은 모든 일을 하려는 'AI 부조종사'가 아닙니다. 이들은 한 가지 일을 잘 수행하는 도메인별 에이전트입니다.
바로 적용할 수 있는 몇 가지 사용 사례를 살펴보겠습니다.
워크플로 소유권을 가진 고객 대면 상담원
챗봇 설계에서 가장 큰 오해 중 하나는 대화가 가치와 같다고 생각하는 것입니다. 온보딩, 예약, 애플리케이션 등 대부분의 고객 대면 흐름은 "대화"가 아닙니다. 이러한 흐름은 로직, 유효성 검사, 백엔드 종속성이 있는 구조화된 작업입니다.
그러나 기업들은 종종 여기에 일반 챗봇을 배포하고 최상의 결과를 기대합니다. 결과는? 사용자를 혼란스럽게 하고, 흐름이 끊기고, 리드를 놓치게 됩니다.
반면에 고객 서비스를 위해 특별히 설계된 버티컬 에이전트는 전체 여정을 완료하도록 설계되었습니다. 이들은 단계를 알고, 규칙을 따르며, 내부 시스템과 직접 통합됩니다. 상담원이 '더 똑똑해서'가 아니라 해당 업무를 위해 구축되었기 때문에 경험이 더 원활하게 느껴집니다.
작업 자동화를 위한 내부 운영 에이전트
레코드 업데이트, 티켓 할당, 도구 간 데이터 동기화 등 반복 가능하지만 여전히 번거로운 내부 업무가 엄청나게 많습니다. RPA로 자동화할 수도 있지만, RPA는 무언가 바뀌는 순간 중단되는 경우가 많습니다.
버티컬 에이전트는 워크플로우 자동화의 로직 레이어로서의 뛰어난 능력과 뉘앙스를 이해하는 능력으로 이 간극을 훌륭하게 메웁니다. 동적 입력을 처리할 수 있을 만큼 똑똑하지만 가드레일 내에 머물 수 있을 만큼 구조화되어 있습니다. 더 중요한 것은 내부 워크플로를 정의하는 API 및 로직에 연결되어 있다는 점입니다.
영업 및 CRM 통합 상담원
영업은 빠르게 움직이고 세부 사항에 민감합니다. 일반 GPT 상담원은 정중하게 응대할 수는 있지만 자격 기준, 어떤 담당자가 어느 지역을 담당하는지, CRM에 리드가 이미 존재하는지 여부는 알 수 없습니다.
HubSpot과 같은 플랫폼이 상담원에게 이 모든 귀중한 정보를 제공하는 만큼, 이를 최대한 활용할 수 있는 상담원이 필요합니다.
제대로 수직적으로 구축된 영업 챗봇은 다릅니다. 챗봇은 파이프라인 로직 내부에 존재합니다. 챗봇은 실시간으로 리드를 검증하고, 메모를 기록하고, 후속 조치를 트리거하고, 인계 일정을 잡을 수 있으며, 심지어 사람이 수동으로 안내하지 않아도 됩니다.
시스템 간 조정 에이전트
어떤 작업은 하나의 시스템에서 수행할 수 없습니다. 분기별 보고서 생성, 후속 캠페인 전송, 여러 지점의 재고 조정 등을 생각해 보세요. 이러한 작업은 '대화형' 작업이 아니라 시스템과 로직에 걸쳐 있는 미니 워크플로우입니다.
일반 상담원에게 프롬프트를 사용하여 이 작업을 수행하도록 하는 것은 악몽과도 같습니다. 모델이 컨텍스트를 잊어버리고, API 호출이 실패하고, 로직이 엉망이 됩니다.
버티컬 에이전트는 이 공간에서 성공합니다. 도구를 조율하고 프로세스 로직을 준수하며 엔드투엔드 작업을 완료하기 때문에 사람이 보살필 필요가 없습니다. AI라고 생각하지 말고 인프라라고 생각하면 됩니다.
이는 가상의 시나리오가 아닙니다. 팀들은 이미 프로덕션에 버티컬 에이전트를 배포하여 취약한 자동화와 과장된 조종을 실제로 업무를 처리하는 시스템으로 조용히 대체하고 있습니다. 핵심은 단순한 인텔리전스가 아니라 구조, 집중, 통합입니다.
그렇다면 개념에서 실제 작동하는 버티컬 에이전트로 전환하려면 어떻게 해야 할까요? 자세히 살펴보겠습니다.
첫 번째 버티컬 AI 에이전트를 구축하는 방법
오픈 소스 스택, 오케스트레이션 프레임워크, 풀코드 플랫폼, 노코드 빌더 등 오늘날 AI 에이전트를 구축하는 방법에는 여러 가지가 있습니다. 여러 에이전트를 하나로 묶을 수 있는 방법도 있습니다. 처음부터 동작을 미세 조정할 수 있는 방법도 있습니다.
.webp)
이 예제에서는 현실에 기반을 두고 실용적으로 설명하겠습니다. 여기서는 Botpress 를 오케스트레이션 계층으로 사용하고 GPT, Claude 또는 Gemini와 같은 원시 언어 모델에 연결한 다음 일반 LLM 범위가 지정되고 통합되어 실제 작업에 사용할 수 있는 수직 에이전트로 전환하는 방법을 보여드리겠습니다.
이미 CrewAI, LangGraph 또는 AutoGen과 같은 도구를 사용해 본 적이 있다면 이 접근 방식이 익숙하게 느껴지겠지만, 여기서는 백지 상태의 LLM 비즈니스 지원 시스템으로 전환하는 데 초점을 맞추고 있습니다.
1. 상담원 설정으로 시작하기
구체적이고 반복 가능하며 명확하게 정의된 작업을 선택하세요. 약속 예약, 접수 흐름 또는 리드 자격 검증과 같은 작업이 완벽한 출발점이 될 수 있습니다.
.webp)
Botpress 대시보드로 이동하여 새 봇을 만들고 봇의 목적을 바로 정의하세요. "다중 위치 예약 에이전트" 또는 "리드 자격 보조"와 같은 간단한 설명을 입력합니다. 상담원 역할 섹션에 이 상담원이 해야 할 일에 대해 한 줄로만 작성하세요. 그 범위가 중요합니다.
2. 상담원에게 근거가 되는 지식 추가하기
LLMs 강력하지만 비즈니스 맥락이 없으면 추측에 불과합니다. 지식창고 탭으로 이동하여 PDF, 도움말 문서, 가격 책정 페이지, 내부 FAQ, 심지어 이미지와 스크린샷까지 상담원이 알아야 할 모든 것을 업로드하세요(운영의 일부인 경우).
.webp)
CRM 어시스턴트 (예: HubSpot용)를 구축하는 경우에는 온보딩 문서, 제품 정보 및 서비스 정책을 업로드하세요. 각 항목에 명확하게 태그를 지정하고 나중에 더 많은 상담원을 구축할 계획이라면 별도의 지식창고를 만드세요.
KB에 상담원의 도메인과 관련된 내용만 포함되도록 하세요. 그래야 범위 이탈과 환각을 방지할 수 있습니다.
3. 플로우 에디터에서 비즈니스 로직을 매핑합니다.
여기서 대화를 넘어 실행으로 나아갈 수 있습니다.
플로우 편집기로 이동하여 구조 구축을 시작합니다: 상담원이 수집해야 하는 정보는 무엇인가요? 계속 진행하기 전에 어떤 조건을 확인해야 하나요? 언제 에스컬레이션하거나 중지할까요?
.webp)
예를 들어 예약 봇을 구축하는 경우입니다:
- 사용자가 선호하는 시간, 위치, 서비스를 수집합니다.
- API 호출을 사용하여 사용 가능 여부를 확인합니다(곧 설명하겠습니다).
- 슬롯을 확인하거나 대안을 제시하세요.
조건 노드, 표현식, 변수를 사용하면 LLM 로직으로 구동되어 하드와이어링 없이 트리거하고 작동할 수 있으므로 로직이 동적이지만 항상 범위가 정해져 있는 느낌을 줄 수 있습니다.
4. API 액세스 추가
연동 서비스 패널로 이동하여 상담원에게 필요한 API 호출을 설정합니다. 여기에는 예약 시스템(예: Calendly 또는 내부 스케줄링 API), CRM 엔드포인트 또는 지원 티켓팅 시스템 등이 포함될 수 있습니다.
- 기본 URL 및 인증 헤더
- 매개변수(동적 또는 정적)
- 응답을 저장할 위치(예: workflow.slotOptions)
- 플로우에서 해당 응답을 사용하는 방법(예: 사용 가능한 시간 표시 또는 양식 제출)
작동이 시작되면 사용자를 워크플로에 연결하세요. 이제 에이전트는 더 이상 '똑똑한' 존재가 아니라 유용한 존재가 됩니다.
5. 상담원 행동 확인
봇 에뮬레이터를 사용하여 전체 대화를 실행하고 실시간으로 디버깅하세요. 철자를 잘못 입력하거나, 단계를 건너뛰거나, 이상한 입력을 하는 등 일부러 오류를 일으키세요. 상담원이 어떻게 복구하는지 확인하세요.
그런 다음 폴백을 추가합니다. 유효성 검사를 추가합니다. 조건부 노드를 사용하여 에지 케이스를 포착하세요. 사용자가 필수 필드를 건너뛰는 경우 대화 흐름을 깨지 않는 친절한 설명으로 다시 안내하세요. API 호출이 실패하면 실패를 확인하고 정확한 다음 단계를 사용자와 소통하세요.
테스트가 완료되면 상담원 대시보드의 홈으로 이동하여 상담원을 배포할 채널을 선택합니다.
하나의 버티컬 에이전트를 구축한 후에는 이 패턴을 반복할 수 있습니다. 대화뿐만 아니라 자동화하고 범위를 지정하여 시스템으로 전환할 수 있는 워크플로우를 더 많이 발견할 수 있습니다. 이것이 바로 봇을 구축하는 것뿐만 아니라 업무를 발전시키는 인프라를 구축하는 진정한 힘입니다.
직접 만들고 싶으신가요? Botpress 여러 API, 플랫폼 및 서비스와의 LLM 상호 작용을 지원하는 기능이 가득합니다. LLMs 배송하는 에이전트로 전환하는 실험을 해볼 수 있는 좋은 방법입니다.
.svg)
