- Human-in-the-loop(HITL)는 인간의 감독을 AI 시스템에 결합해 정확도를 높입니다.
- 사람들은 데이터에 주석을 달거나, AI 결과를 검토하고, 이슈를 처리하며, 모델 개선을 이끕니다.
- HITL은 신뢰성을 높이고, 편향을 줄이며, 지속적인 학습을 가능하게 하고, AI 시스템을 더 투명하게 만듭니다.
- 자율주행차, 리테일 챗봇, 금융 리스크 점검, 의료 의사결정 등 다양한 분야에 활용됩니다.
AI로 비즈니스를 개선하려고 고민 중이신가요? 혼자가 아닙니다. AI 챗봇은 가장 빠르게 성장하는 소통 채널로, 이제는 선택이 아니라 필수가 되었습니다.
하지만 통제권을 넘기는 일은 다소 두려울 수 있습니다. 중요한 업무를 이른바 ‘블랙박스 알고리즘’에 맡기는 것은 큰 결단처럼 느껴집니다.
실제로 그렇기 때문에, 기업들은 AI를 올바른 방향으로 이끌기 위해 인간의 개입에 의존합니다. 거의 모든 AI 에이전트 프레임워크에는 human-in-the-loop, 즉 인간의 감독이 포함되어 있습니다.
이 글에서는 human-in-the-loop가 무엇이고, 어떻게 작동하며, AI 챗봇과 에이전트에서 사용자가 더 많은 통제권을 갖도록 인간 개입이 어떻게 활용되는지 사례를 들어 설명합니다.
Human-in-the-loop란?
Human-in-the-loop(HITL)는 AI의 역량을 높이거나 확장하기 위해 인간의 입력을 활용하는 협업 방식입니다. 이는 사람이 직접 데이터를 주석 처리하거나, 모델의 결과를 수정하거나, AI가 확신이 없거나 효과적이지 않은 경우 인간이 전체 작업을 수행하는 형태로 나타날 수 있습니다.
이 용어는 다소 모호할 수 있습니다. 기술적으로는 어떤 형태로든 AI 애플리케이션의 라이프사이클에 인간이 관여하는 것을 의미합니다. 즉, 데이터 라벨링, 모델 평가, 능동 학습, 이슈 처리 등이 모두 포함됩니다.
실제로 AI 제공업체가 HITL 기능을 제공한다고 할 때는 주로 AI 결과에 대한 감독, 즉 응답을 검토하고 챗봇 대화를 인간 상담원에게 이관할 수 있는 기능을 의미합니다.
AI에서 인간은 어떻게 “루프에” 들어가 있을까요?
잘 구축된 AI 파이프라인에는 인간이 개입할 수 있는 여러 지점이 있습니다.
AI는 학습 데이터에서 패턴을 찾아내고, 이를 새로운 데이터에 일반화하도록 훈련됩니다. 어떤 데이터를 모델에 보여줄지는 우리가 결정하지만, 모델이 어떤 패턴을 추출할지는 결정할 수 없습니다.
데이터 수집, 학습, 배포 등 모든 단계에서 모델이 제대로 작동하는지 확인하는 것은 결국 사람의 몫입니다.
이러한 인간 개입이 어디서, 어떻게 일어나는지에 따라 다음과 같은 범주로 나눌 수 있습니다.
지속적인 학습을 위한 피드백 제공
ChatGPT가 두 가지 답변 중 어떤 것이 더 나은지 물어본 적 있나요? 이런 피드백은 모델이 추가로 학습할 수 있는 새로운 데이터가 됩니다.
피드백이 꼭 명시적일 필요는 없습니다.
소셜 미디어 추천을 생각해보세요. 예측 모델이 사용자의 이력을 바탕으로 콘텐츠를 계속 추천합니다. 사용자가 플랫폼을 이용하면서 선택하는 콘텐츠가 추천 모델을 지속적으로 학습시키는 데이터가 됩니다.
이 경우 여러분이 바로 인간입니다. 앱을 사용하면서 미래의 추천을 위한 가이드 역할을 하게 됩니다.
이렇게 해서 다시 원점으로 돌아옵니다. 모델은 데이터로 학습하고, 사용자는 모델과 상호작용하며, 이 상호작용이 다시 모델 학습에 활용될 데이터를 만들어냅니다.
이슈 상황 처리
HITL이 항상 시스템 개선만을 위한 것은 아닙니다. 때로는 어려운 상황을 인간에게 넘기는 것이 목적일 때도 있습니다.
예를 들어 고객 지원 챗봇을 생각해보세요. 전체 문의의 95%를 명확하고 간결하게 처리해 팀의 업무 부담을 크게 줄여줍니다.
하지만 나머지 5%가 있습니다.
일부 문의는 너무 특수하거나 드물어서 AI가 다루기 어렵습니다. 이 경우 인간 개입이 모델을 개선하지는 않지만, 인간과 머신러닝이 상호 보완적으로 작동하는 좋은 예시입니다.
학습용 데이터에 주석 달기
기술적으로 거의 모든 머신러닝에는 HITL 메커니즘이 들어갑니다. 그래서 HITL을 논할 때는 주로 앞서 언급한 범주를 의미합니다.
그렇지만 머신러닝 과정에서 인간의 노동과 전문성이 중요하다는 점도 꼭 짚고 넘어가야 합니다.
데이터는 AI의 핵심이며, 인간에 의존합니다. AI 모델은 라벨을 입력 데이터에 따라 예측하도록 훈련됩니다. 라벨은 AI가 내놓아야 할 기대 결과이며, 이를 만드는 것은 결국 사람입니다.
인간이 라벨링하는 예시:
- 응답을 프롬프트에 손으로 작성해 대형 언어 모델(LLM)을 학습시키기
- 오디오 파일을 음성 인식 모델을 위해 텍스트로 변환하기
- 이미지에서 객체에 주석을 달아 객체 탐지 모델을 학습시키기
- 이메일 클라이언트의 스팸 탐지기를 위해 샘플 이메일을 스팸/비스팸으로 분류하기
모델 성능 평가
AI 모델을 개발할 때 가장 많은 시간을 쓰는 부분은 어떻게 하면 더 나은 모델을 만들 수 있을지 고민하는 일입니다. 정밀도, 재현율 등 다양한 지표를 계산할 수 있지만, 실제로 모델이 어떻게 작동하는지, 그리고 무엇을 개선해야 할지 판단하는 것은 전문가의 몫입니다.
예를 들어 연구자가 모델이 개를 잘 구분하지만 핫도그는 잘 못 알아본다는 점을 발견할 수 있습니다. 이럴 때는 핫도그 사진을 추가하거나 다양화하면 해결할 수 있습니다.
때로는 챗봇 모델이 이전 메시지의 정보를 기억하지 못할 때가 있습니다. 연구자는 보통 모델 구조나 생성 방식을 조정해 이런 문제를 해결합니다.
Human-in-the-Loop AI의 장점
AI는 미묘한 패턴을 인식하는 데 매우 뛰어나지만, 사람은 똑똑합니다.
HITL은 인간의 섬세함과 AI 워크플로우 자동화의 효율성을 결합해, 사용자와 제공자가 원하는 경험에 맞춘 응답을 제공합니다.
1. 정확성과 신뢰성
이건 너무나 당연합니다. 그냥 AI보다 더 나은 것은? 바로 사람이 수정한 AI입니다.
예외 상황도 잘 처리할 뿐만 아니라, 사용자가 결과를 계속 검토하고 개선할 수 있다는 점에서 신뢰성도 높아집니다.
2. 편향 완화
데이터는 완벽하지 않으며, 모델의 결과도 이를 반영합니다. 편향, 즉 특정 결과로 치우치는 현상은 머신러닝과 AI 전반에 걸쳐 나타나는 문제입니다.
예를 들어 인종적으로 편향된 이미지 생성이나, 성별로 채용 자격을 판단하는 등 AI가 학습 데이터의 편향을 그대로 드러내는 사례가 있습니다.
HITL은 이런 문제를 사람이 직접 지적하고, 모델을 더 공정한 결과로 이끌 수 있게 해줍니다.
3. 지속적 개선과 적응력
모델이 실제로 사용된다고 해서 학습이 끝나는 것은 아닙니다. HITL을 통해 모델은 새로운 데이터로 계속 학습하며, 보지 못한 사례에도 더 잘 대응할 수 있습니다.
예를 들어 생성된 텍스트를 수정하거나, 사용자의 콘텐츠 선택을 반영하는 것이 모델이 개선될 수 있는 추가 데이터를 제공합니다.
하지만 모델이 개선되는 것만으로는 충분하지 않습니다. 변화도 필요합니다.
우리는 변화하는 세상에 자연스럽게 적응하지만, AI는 그렇지 않습니다. HITL은 전문성과 섬세한 판단을 결합해 모델의 결과가 시대에 맞게 유지되도록 합니다.
4. 투명성과 신뢰
인간이 개입하면 AI의 의사결정 과정이 더 투명해집니다. 사람이 결과를 수정하거나 확신이 낮은 사례를 직접 처리함으로써, 사용자는 합리적인 알고리즘과 상호작용하고 있다는 확신을 가질 수 있습니다.
우리가 AI를 통제하는 것이지, AI가 우리를 통제하는 것이 아닙니다.
Human-in-the-Loop 활용 사례
1. 자율주행
향후 10년간 시장 가치가 3조 9천억 달러에 이를 것으로 전망되는 자율주행은 AI의 다음 큰 도약이 될 수 있습니다. 객체 탐지 모델과 순간순간의 의사결정으로 사람의 운전을 모방합니다.
하지만 이렇게 자동화된 시스템도 인간에게 크게 의존하고 있습니다. 모델은 항상 인간의 운전 패턴을 관찰하며, 자신의 예측과 인간의 의사결정을 비교합니다.
2. 소매업
소매 챗봇은 고객과의 상호작용을 자동화하면서도 개인화된 경험을 제공할 수 있는 훌륭한 방법입니다. HITL을 활용하면 이러한 경험을 매끄럽게 유지하고 비즈니스 방향에 맞출 수 있습니다. 예를 들어, 다음과 같은 작업이 가능합니다:
- 봇의 상품 추천을 검토하고 수정하기
- 고객이 기본적인 요구사항을 이야기한 후에 인간 상담원에게 연결하기
3. 금융
금융 챗봇은 AI 자동화와 인간 전문성을 효과적으로 결합할 수 있는 좋은 방법입니다.
사기 탐지 시스템은 거래에서 의심스러운 활동을 잘 찾아냅니다. 하지만 모든 의심스러운 활동이 악의적인 것은 아니며, 커피 주문을 바꿀 때마다 카드가 정지되는 일은 원하지 않을 것입니다.
HITL은 확신이 낮고 위험이 적은 사례를 인간에게 넘길 수 있습니다.
대출 위험 평가 역시 AI가 뛰어난 분야입니다. 서로 관련 없어 보이는 다양한 데이터를 바탕으로 확률을 계산하는 데 강점을 보입니다. 하지만 그 데이터에는 편향이 포함되어 있을 가능성이 높습니다.
공정성을 유지하고 편향을 줄이기 위해서는 실제 사람의 도움이 종종 필요합니다.
4. 의료
Claude 덕분에 생명을 구한 Reddit 사용자는 의료 분야에서 AI의 잠재력을 가장 먼저 옹호할 것입니다.
의료 AI 챗봇은 이미 일부 가능성을 보여주었지만, 그 이상입니다: AI는 MRI 판독을 바탕으로 진단을 내리거나 검사 결과에 따라 추가 조치를 제안할 수 있습니다. 하지만 저는 아직 의사를 완전히 신뢰하지 못하겠습니다.
HITL은 두 가지 장점을 모두 제공합니다. 의사가 놓칠 수 있는 사례를 포착하면서도, 최종 결정은 여전히 의사가 내릴 수 있도록 합니다.
지금 바로 인간 보조 AI를 활용하세요
Botpress는 수천 개의 봇이 원활한 인간 감독 하에 운영되고 있으며, 시장에서 가장 유연한 AI 에이전트 플랫폼입니다.
Botpress는 HITL 통합, 시각적 드래그 앤 드롭 빌더, Slack, Telegram, WhatsApp, 웹 등 모든 주요 커뮤니케이션 채널에 배포할 수 있어, AI를 사용해도 개인적인 터치를 포기하지 않아도 됩니다.
지금 바로 시작해보세요. 무료입니다.
자주 묻는 질문
내 AI 시스템에 인간 개입(HITL)이 필요한지 어떻게 알 수 있나요?
AI 시스템이 중요한 결정을 내리거나, 자주 모호하거나 드문 상황을 마주치거나, 편향되거나 해로운 결과를 낼 위험이 있거나, 절대적인 정확성과 인간의 판단이 준수 또는 고객 신뢰에 필수적인 분야에서 운영된다면, 인간 개입이 필요할 가능성이 높습니다.
인간 개입(HITL)은 비기술적인 비즈니스 프로세스에도 사용할 수 있나요, 아니면 AI 모델에만 적용되나요?
인간 개입은 고객 불만 검토나 콘텐츠 모더레이션처럼 비기술적인 비즈니스 프로세스에도 사용할 수 있습니다. 이는 기계의 결정만으로는 충분하지 않은 자동화된 워크플로우에 인간의 판단을 더하는 것을 의미합니다.
인간 개입(HITL)을 사용하면 내 AI 시스템이 덜 발전된 것인가요?
인간 개입을 사용한다고 해서 AI 시스템이 덜 발전된 것은 아닙니다. 이는 AI의 속도와 패턴 인식 능력에 인간의 판단을 더해, 더 세밀한 결정을 내리려는 안전성과 공정성 우선의 접근임을 보여줍니다. 이는 종종 필수적입니다.
인간 개입(HITL) AI는 대기업뿐만 아니라 소규모 기업에도 비용 효율적인가요?
현대적인 도구를 사용하면 까다로운 사례에만 선택적으로 인간을 개입시킬 수 있어, 대규모 인력이 없어도 정확성과 신뢰성을 높이면서 인건비를 최소화할 수 있기 때문에 소규모 기업에도 점점 더 비용 효율적입니다.
AI 시스템에 인간 개입(HITL) 프로세스를 추가하는 데 비용이 얼마나 드나요?
인간 개입 프로세스를 추가하는 비용은 내부 직원이 가끔 참여하는 경우에는 최소 수준에서, 전담 검토자나 전문 계약자가 필요한 경우에는 월 수백~수천 달러까지 다양합니다. 비용은 주로 인간이 처리해야 하는 작업의 양과 복잡성에 따라 결정됩니다.
