AI 에이전트 오케스트레이션 이해

상담원 오케스트레이션은 어떻게 작동하나요?

에이전트 오케스트레이션은 중앙 컨트롤러를 사용하여 개별 AI 에이전트가 작업을 수행하는 시기와 방법을 관리하는 방식으로 작동합니다. 각 에이전트는 특정 기능을 담당하며 컨트롤러는 시스템 컨텍스트, 사용자 입력 또는 비즈니스 로직에 따라 에이전트의 작업을 조정합니다.

오케스트레이션 시스템에서는 하나의 큰 챗봇을 만드는 것이 아니라 각각 하나의 업무를 처리하는 일련의 에이전트를 설계하는 것입니다. 챗봇을 팀으로 전환하여 각 에이전트가 전문가처럼 행동한다고 생각하면 됩니다.

그 중심에는 특정 순간에 어떤 에이전트가 작업을 처리해야 하는지 결정하는 컨트롤러가 있습니다. 이 컨트롤러는 규칙 기반일 수도 있고 완전 자율적일 수도 있으며 그 중간 형태일 수도 있습니다. 컨트롤러의 역할은 작업을 라우팅하고, 상태를 추적하며, 상담원이 서로의 발끝을 밟지 않도록 하는 것입니다.

각 에이전트는 범위가 좁고 독립적입니다. 요약을 생성하거나, 외부 도구를 호출하거나, 사용자 입력을 확인하거나, 다음에 수행할 작업을 결정할 수 있습니다. 일부는 반응형이고 다른 일부는 후속 조치를 트리거할 수 있습니다. 컨트롤러는 오케스트라에서 악기를 지휘하는 지휘자처럼 에이전트 사이를 오갑니다.

멀티 에이전트 시스템에서의 컨텍스트 공유

멀티에이전트 시스템은 에이전트 간에 이동하는 공통 메모리 (주로 JSON 개체 또는 세션 상태)를 공유합니다. 각 에이전트는 이 컨텍스트에서 읽고 쓰며 컨트롤러는 이러한 업데이트를 사용하여 다음에 수행할 작업을 결정합니다.

예를 들어 여행 계획 봇을 예로 들 수 있습니다:

• 사용자 에이전트: 대화를 처리하고 기본 설정을 수집합니다.
• 리서치 에이전트: 항공편 및 호텔 옵션 찾기
• 플래너 에이전트: 여정 구성
• 실행 에이전트: 필요한 것을 예약합니다.

이러한 에이전트 중 어느 누구도 전체 상황을 파악하지 못하며, 파악할 필요도 없습니다. 라우터 에이전트는 단계별로 이들을 조정합니다.

오케스트레이션은 응답하는 챗봇에서 내부적으로 협업하여 업무를 처리하는 챗봇으로 확장하는 방법입니다.

1. Botpress

Botpress 모듈식 에이전트 워크플로를 설계하고, 특정 역할을 할당하고, 중앙 라우터를 통해 오케스트레이션할 수 있는 완전한 에이전트 플랫폼입니다. 각 워크플로는 독립형 에이전트처럼 작동하며, 컨텍스트, 사용자 입력 또는 비즈니스 로직에 따라 제어 전환 시점을 사용자(또는 자율 노드)가 결정할 수 있습니다.

아이디어에서 실제 시스템으로 얼마나 빠르게 전환할 수 있는지도 눈에 띕니다. 에이전트는 최고 수준의 언어 모델을 기반으로 즉시 코드를 작성 및 실행하고, 외부 API를 사용하며, 동적으로 툴 사용을 연결할 수도 있습니다. 단순히 플로우를 구축하는 것이 아니라 상담원 내부에 존재하고 수직적 상담원 간에 공유되는 로직을 구축하는 것입니다.

인프라를 재구축하지 않고도 유연성을 원하는 개발자를 위해 만들어졌습니다. 지원, 예약, 스케줄링, 온보딩 또는 내부 운영 전반에 걸쳐 에이전트를 배포하는 경우 이 솔루션은 방해가 되지 않고 바로 출시할 수 있도록 도와줍니다.

주요 기능:

• 모듈식 워크플로: 각 에이전트는 격리된 재사용 가능한 파이프라인으로 구축됩니다.
• 중앙 라우팅: 시각적 라우터가 에이전트 핸드오프 및 로직을 오케스트레이션합니다.
• 동적 도구 사용: 실시간으로 코드를 실행하고 외부 API를 호출하세요.
• LLM: OpenAI 및 Claude와 같은 최고의 파운데이션 모델과 호환 가능
• API 우선: 상담원을 쉽게 노출하거나 CRM, 웹후크 등과 연결할 수 있습니다.
  
  

가격:

• 무료 요금제: 비주얼 빌더 및 사용량 기반 AI가 포함된 월 $0
• Plus 요금제: 월 $89(분석 및 브랜딩 제거 포함)
• 팀 요금제: 월 $495(협업 도구 및 역할 기반 액세스 포함)

2. CrewAI

CrewAI는 자체 인프라를 구축하지 않고도 오케스트레이션을 원하는 팀을 위해 만들어졌습니다. 역할을 정의하고, 목표를 할당하고, 각 에이전트를 도구와 메모리로 연결하는 팀 은유를 기반으로 합니다. 그런 다음 함께 작업하여 작업을 완료합니다.

가장 좋은 점은 작업을 얼마나 빨리 진행할 수 있느냐입니다. 몇 분 안에 기획자, 연구자, 실행자로 구성된 팀을 가동하여 체계적인 단계에 따라 서로 대화할 수 있습니다. 

사용자 지정 워크플로에는 여전히 약간의 해킹이 필요할 수 있어 완벽하지는 않지만 대부분의 사용 사례에서 빠른 성능을 제공합니다. AutoGen이 프로토콜을 프로그래밍하는 것처럼 느껴진다면 CrewAI는 분대와 함께 임무를 수행하는 것처럼 느껴집니다.

주요 기능:

• 역할 기반 아키텍처: 각 에이전트에는 직책, 목표, 도구 및 선택적 메모리가 있습니다.
• 간편한 위임: 기본 제공 플래너 에이전트가 목표에 따라 작업 순서를 결정합니다.
• 도구 통합: 함수 호출, API 요청 및 브라우저 기반 도구 지원
• 공유 메모리: 상담원이 공유 컨텍스트를 참조하고 기여할 수 있습니다.

가격:

• 무료 요금제: 오픈 소스, 라이선스 비용 없음
• Enterprise: 공개되지 않음 - 호스팅 제품이 성숙해지면 유료 요금제가 예상됩니다.

3. OpenAI 에이전트 SDK

이전에는 OpenAI 스웜이라고 불렸던 OpenAI 에이전트 SDK는 퍼스트 파티 에이전트 인프라에 대한 OpenAI첫 번째 실제 단계입니다. 개발자가 프레임워크에 내장된 핸드오프, 도구 및 메모리를 통해 OpenAI GPT 모델을 사용하여 구조화된 멀티 에이전트 워크플로우를 구축할 수 있도록 설계되었습니다.

각 상담원에게 지침, 도구, 가드레일이 제공되며, 상담원이 서로에게 작업을 전달하는 방법을 조율할 수 있습니다. 아직 초기 단계이지만 세련된 느낌이 듭니다. 추적, 컨텍스트 관리가 기본으로 제공되며 별도의 프레임워크를 연결하지 않고도 프로덕션에 바로 사용할 수 있는 어시스턴트를 만들 수 있습니다.

이미 OpenAI API로 작업 중이고 긴밀하게 통합된 의견에 따라 AI 에이전트를 구축하고자 하는 경우, 이 SDK를 통해 탄탄한 기반을 마련할 수 있습니다.

주요 기능:

• 상담원 역할: 각 상담원에 대한 지침, 도구 및 권한 구성하기
• 핸드오프: 기본 제공 로직을 사용하여 에이전트 간 제어권 전달
• 추적: 시각적 검사를 통한 멀티 에이전트 워크플로 추적 및 디버그
• 가드레일: 입력 및 출력에 유효성 검사 적용
  
  

가격:

• SDK: MIT 라이선스에 따른 무료 오픈 소스
• 사용 비용: OpenAI API 사용량당 지불(예: GPT, 도구 호출, 벡터 저장소)
• 도구 예시: 코드 인터프리터: $0.03/회, 파일 검색: $2.50/1k 도구 호출

4. 자동 생성

AutoGen은 "단일 상담원이 도구를 사용하는" 접근 방식에서 벗어나 여러 상담원이 서로 대화하고 상태를 추론하며 팀으로 작업을 완료하는 시스템이 필요한 경우에 적합합니다. Microsoft에서 구축했으며 상담원 기반 워크플로를 구조화된 대화로 설계하는 것과 같은 느낌을 줍니다.

초보자 친화적이지 않으며, 그렇게 하려고 하지도 않습니다. 에이전트, 에이전트의 역할, 누가 언제 말하고, 어떻게 메시지를 전달하며, 언제 중단할지 등 모든 부분을 직접 설정해야 합니다. 하지만 투명성과 완전한 제어가 필요한 심각한 상태 저장형 AI 시스템에서 작업하는 경우 AutoGen은 필요한 정확한 빌딩 블록을 제공합니다.

연구팀, 고급 빌더 또는 여러 AI 에이전트에서 복잡한 추론을 모델링하려는 모든 사용자에게 가장 적합합니다. 챗봇을 '구성'하는 것이 아니라 인텔리전스 프로토콜을 설계하는 것입니다.

주요 기능:

• 대화형 에이전트 그래프: 에이전트는 정적 체인 대신 구조화된 메시징 플로우를 통해 통신합니다.
• 오케스트레이션 제어: 턴-테이킹, 메모리 범위 및 작업 경계를 정의합니다.
• 추적 및 디버깅: 기본 제공 추적 기능을 통해 다단계 작업에서 각 에이전트의 기여도를 검사할 수 있습니다.
• 도구 사용: 상담원 전반에서 사용자 지정 도구 및 함수 호출을 지원합니다.
  
  

가격:

• 무료 오픈 소스(MIT 라이선스)
• 모든 LLM 엔드포인트OpenAI, Azure, 로컬 모델OpenAI에서 사용 가능

5. LangChain

LangChain 에이전트를 사용하면 에이전트가 각 단계에서 사용할 도구를 선택하는 로직 기반 워크플로를 구축할 수 있습니다. 목표를 정의하고 검색, 코드 실행 또는 API와 같은 도구를 연결한 다음 에이전트가 작업을 추론하도록 할 수 있습니다.

가장 유연한 설정 중 하나이지만 매우 코드 우선적인 설정이기도 합니다. 메모리, 흐름 제어 및 오류 처리를 직접 처리해야 합니다. 시각적 오케스트레이션을 위한 그래프 빌더가 도입되었지만 아직 완전한 에이전트 운영이나 에이전트 행동에 대한 명확한 가시성을 제공하기에는 충분히 성숙하지 않았습니다.

완전한 사용자 정의를 원하고 수동으로 연결하는 것에 신경 쓰지 않는다면 LangChain이 이상적입니다. 강력하지만 많은 작업이 필요할 것으로 예상됩니다.

주요 기능:

• 동적 도구 사용: 에이전트는 입력에 따라 어떤 도구를 호출할지 결정합니다.
• 메모리 지원: 긴 대화를 위한 문맥 메모리 추가
• LangSmith 통합: 다단계 실행 추적, 디버그 및 모니터링
• 확장성이 뛰어납니다: 구성 요소 재정의 또는 도구 플러그인
  
  

가격:

• 랭체인 프레임워크: 무료 오픈소스
• LangSmith(선택 사항): 유료 디버깅 및 평가 도구
• 사용 비용: 사용하는 모델 및 타사 도구에 따라 다릅니다.

구조 에이전트 의사 결정

상담원이 사용자의 메시지에 따라 다음에 수행할 작업을 결정하도록 하는 것은 현명한 지름길처럼 보일 수 있지만 혼란, 건너뛰는 단계, 예측할 수 없는 행동으로 이어질 수 있습니다.

무슨 일이 일어나고 있는지 모델이 다음 동작을 환각하도록 내버려두고 있습니다. 이 모델은 시스템에 대한 명확한 지도를 가지고 있지 않습니다. 그래서 추측을 하다가 틀린 추측을 하기도 합니다.

대신 상담원을 다음과 같이 대우하세요. 함수. 를 출력하도록 요청합니다. 제어 명령어 같은 "경로_에이전트" 혹은 "다음 단계는 verify_info". 그런 다음 오케스트레이터 를 사용하여 다음에 일어날 일을 결정합니다. 로직을 모델 외부에 유지 - 신뢰할 수 있는 곳입니다.

범위 에이전트 메모리

상담원이 너무 많은 컨텍스트를 공유하면 문제가 발생하기 시작합니다. 한 상담원이 작업을 완료하면 다른 상담원은 오래되거나 관련 없는 데이터에 따라 작업을 취소합니다.

이는 모든 상담원이 동일한 글로벌 메모리 저장소를 읽고 쓸 때 발생합니다. 경계가 없습니다. 한 에이전트가 다른 에이전트의 컨텍스트를 오염시킵니다.

각 상담원에게 고유한 범위의 컨텍스트를 제공하세요. 필요한 내용만 전달하고 그 이상은 전달하지 마세요. 각 상담원에게 시스템의 그룹 채팅 기록에 대한 전체 액세스 권한이 아니라 집중적인 업무 요약만 제공한다고 생각하면 됩니다.

루프 드리프트 중지

플래너-실행자 쌍을 사용할 때는 일반적으로 플래너가 해야 할 일을 결정하고, 실행자가 실행 하고, 플래너가 결과를 확인하여 다음 작업을 결정하는 루프를 만들게 됩니다.

플래너에 이미 수행한 작업에 대한 기억이 없기 때문에 루프가 중단됩니다. 작업 기록이 없습니다. 체크리스트도 없습니다. 플래너는 현재 상태만 보고 다시 시도하기로 결정합니다.

에이전트 루프를 사용하는 경우에는 누가 무엇을 실행했는지, 무엇을 반환했는지, 성공했는지 등 각 작업 턴을 추적해야 합니다. 그래야 시스템이 꼬리를 쫓는 것을 막을 수 있습니다.

구조화된 출력 반환

응답이 돌아오고 상담원이 똑똑하게 말하는 등 시스템이 작동하는 것처럼 보일 수 있지만, 뒤에서는 아무 일도 일어나지 않습니다.

상담원이 "여기 요약이 있습니다."라고 말하지만 오케스트레이터는 다음에 무엇을 해야 할지 모릅니다.

그 이유는 무엇일까요? 상담원이 시스템이 아닌 사용자와 대화하고 있기 때문입니다. 기계가 읽을 수 있는 출력이 없으므로 로직 계층에서 작업할 것이 없습니다.

Have agents return structured outputs — like { "type": "summary", "status": "complete", "next": "send_confirmation" }. That gives your orchestrator something to route. Modern agentic protocols like the Model Context Protocol are trying to standardize this across platforms, but you can start simple.

작업 진행 상황 추적

때때로 시스템은 자신이 무엇을 하고 있는지 잊어버리기도 합니다. 사용자가 스크립트를 벗어나거나 API 호출이 실패하여 봇이 갑자기 다시 시작하거나, 실제로 작업을 완료하지 않았는데도 완료되었다고 말하는 경우가 있습니다.

메모리를 작업 진행 상황처럼 취급하기 때문에 이런 일이 발생합니다. 하지만 메모리는 기록일 뿐, 워크플로우의 현재 위치를 알려주지는 않습니다.

추적하는 별도의 작업 상태가 필요합니다:

• 수행한 작업
• 보류 중인 사항
• 목표가 무엇인지

이렇게 하면 문제가 발생하더라도 프로세스 중간에 복구하고 작업을 깔끔하게 마무리할 수 있습니다.

AI 에이전트 오케스트레이션이란 무엇인가요?

AI 에이전트 오케스트레이션은 여러 전문 AI 에이전트가 함께 협력하여 복잡한 작업을 하나의 시스템으로 완료하는 것을 말합니다.

상담원 오케스트레이션은 기존 챗봇과 어떻게 다른가요?

하나의 봇이 모든 작업을 수행하는 대신, 각 에이전트는 중앙 컨트롤러가 조정하는 단일 역할에 집중합니다.

상담원이 자율적으로 행동할 수 있나요?

예, 일부 에이전트는 후속 작업을 트리거할 수 있지만 오케스트레이션을 통해 이러한 작업이 일관성을 유지할 수 있습니다.