멀티 에이전트 프레임워크로 AI 워크플로 구축하기

상담원은 시스템에서 호출 가능한 구성 요소로 등록됩니다.

상담원이 어떤 일을 하려면 먼저 프레임워크가 상담원의 존재를 알아야 합니다. 즉, 에이전트의 이름, 담당 업무, 액세스할 수 있는 도구나 정보를 시스템에 알려야 합니다.

대부분의 프레임워크에서 이 설정은 구성 파일이나 일부 코드를 통해 이루어지며, 여기서 각 상담원의 역할과 활성화 방법을 정의합니다. 예를 들어 시스템에 다음과 같이 말할 수 있습니다:

"이것이 플래너입니다. 사용자 입력을 읽고 다음에 수행할 작업을 결정합니다."
"이것은 검증기입니다. 사용자 정보를 받아 예약_id와 사용자 정보를 반환합니다."

일단 등록되면 프레임워크는 이러한 에이전트를 이름으로 '호출'할 수 있으므로 워크플로에서 각 에이전트가 차례가 되면 어떻게 실행해야 하는지 알 수 있습니다.

라우팅 에이전트는 다음에 실행할 에이전트를 결정합니다.

플래너 에이전트 또는 컨트롤러 기능은 AI 에이전트 라우팅을 처리합니다. 이 기능은 최신 봇 출력, 현재 대화 기록, 때로는 원래 사용자 입력을 검토하여 다음에 수행해야 할 작업을 결정합니다.

일부 플래너는 프롬프트 기반이며, 시스템 메시지를 받아 실행할 다음 에이전트의 이름을 출력합니다.

작업 중인 AI 에이전트 프레임워크에 따라 하드코딩된 로직이나 플로우 그래프를 사용하는 경우도 있습니다.

프레임워크는 이 출력을 받아 다음 상담원을 호출하는 데 사용합니다. 라우터는 작업을 수행하는 대신 누가 작업을 수행해야 하는지 결정합니다.

메시지를 사용하여 상담원 간에 데이터가 전달됩니다.

에이전트는 메모리를 직접 공유하지 않습니다. 한 에이전트의 실행이 끝나면 그 출력은 메시지(일반적으로 사전 또는 JSON 객체)로 패키징되어 다음 에이전트에게 입력으로 전달됩니다.

프레임워크가 전송을 처리합니다. 시스템 구조에 따라 공유 메모리 공간에 메시지를 저장하거나 다음 상담원의 입력 인터페이스로 직접 전달합니다.

메시지에는 종종 콘텐츠 이상의 내용이 포함되어 있습니다:

• 보낸 사람(상담원 또는 사용자)
• 워크플로우의 출처는 어디인가요?
• 사용 방법(예: 트리거, 입력, 결정)
• 토큰 수 또는 타임스탬프와 같은 선택적 메트릭

이 컨텍스트는 시스템이 작업을 깔끔하게 라우팅하고 상담원들이 서로 분리된 상태를 유지하는 데 도움이 됩니다.

워크플로 상태 및 트리거를 사용하여 실행을 추적합니다.

프레임워크는 지금까지 어떤 에이전트가 실행되었는지, 어떤 에이전트가 반환했는지, 아직 수행해야 할 작업이 무엇인지 등 지금까지 일어난 일을 추적합니다. 이는 상태 개체에 저장되며 모든 단계가 끝날 때마다 업데이트됩니다.

트리거는 다음에 나올 내용을 결정합니다. 트리거는 출력 값 또는 조건을 사용하여 흐름을 분기합니다.

이를 통해 모든 상담원에게 로직을 하드코딩하지 않고도 시스템이 앞으로 나아갈 수 있습니다. 에이전트 자체가 아니라 상태가 워크플로를 주도합니다.

단일 에이전트에 과부하가 걸리지 않는 로직 확장

단일 AI 에이전트는 프롬프트, 도구, 불분명한 책임이 뒤섞여 혼란스러워지기 전에 많은 일을 처리할 수 있습니다. 다중 에이전트 프레임워크를 사용하면 이러한 로직을 각각 하나의 명확한 작업을 처리하는 집중 에이전트로 분할할 수 있습니다.

단일 에이전트를 얇게 확장하는 대신 검색, 유효성 검사 또는 실행과 같은 특정 단계를 별도의 에이전트에 할당하여 시스템을 하나씩 확장할 수 있습니다.

완전한 가시성을 갖춘 에이전트 협업 디버그

AI 에이전트가 함께 작업할 때는 문제를 추적하기 어려울 수 있습니다. 프레임워크는 각 에이전트가 무엇을 얻었는지, 무엇을 반환했는지, 어디에서 멈췄는지 보여줍니다.

무엇이 고장났는지 추측할 필요 없이 핸드오프를 검사하고 직접 수정할 수 있습니다. 이러한 가시성이야말로 AI 상담원 협업을 관리하기 쉽게 만드는 요소입니다.

워크플로우 전반에서 에이전트 재사용

에이전트가 작동하면 재사용하세요. 프레임워크를 사용하면 동일한 에이전트를 다시 작성하지 않고도 다른 플로우에 연결할 수 있습니다. 이를 통해 일관성을 유지하고 테스트 속도를 높일 수 있습니다.

예를 들어, 사용자 입력이나 인증을 확인하는 유효성 검사 에이전트는 동일한 로직이 적용되는 고객 서비스 챗봇과 예약 챗봇 모두에서 사용할 수 있습니다.

실패 및 재시도 자동 처리

에이전트가 실패하면 프레임워크가 재시도하거나 건너뛰거나 앞으로 나아갈 수 있습니다. 이러한 로직을 직접 작성할 필요는 없습니다.  

기본 제공 폴백은 추가 작업 없이도 워크플로우의 안정성을 높여주며, 이러한 안정성이야말로 실제 시스템의 원동력입니다.

쉽게 변경할 수 있는 상담원 플로우 구축

상담원 간에 작업을 분할하면 변경 사항이 있을 때마다 전체 시스템을 다시 작업할 필요가 없습니다.

실행을 건드리지 않고 플래너를 업데이트하거나, 나머지 상담원의 응답 방식을 변경하지 않고도 한 상담원의 응답 방식을 변경할 수 있습니다.

이러한 접근의 용이성은 성과를 거두었습니다. Salesforce는 에이전트 AI를 사용하는 팀이 워크플로우의 적응성 덕분에 매주 직원당 11시간을 절약하고 있다고 보고했습니다.

1. Botpress

Botpress 단계, 역할 및 채널 전반에서 조정할 수 있는 AI 에이전트를 구축하기 위한 시각적 개발 플랫폼입니다.

로직을 코드로 연결하는 대신 플로우, 메모리, 조건 및 툴 호출을 사용하여 상담원이 작동하는 방식을 정의할 수 있습니다.

멀티 에이전트 동작은 인스트럭션, 워크플로 및 외부 도구를 중심으로 구축됩니다. Botpress 플로우의 각 노드는 고유한 지침과 범위를 가진 집중된 단위로 작동합니다.

여러 자율 및 정적 노드에 걸쳐 추론을 분할하거나, 유효성 검사 계층을 추가하거나, 모든 것을 한 번에 처리하는 대신 도구 기반 의사 결정 로직을 통해 사용자 입력을 라우팅할 수 있습니다.

메모리는 각 플로우에 한정되어 있으므로 상담원은 필요한 것만 사용할 수 있습니다. 입력과 출력이 명확하게 정의되어 있으며 기본 제공 통합을 통해 도구 호출을 바로 추가할 수 있습니다.

주요 기능

• 흐름 및 노드를 사용한 시각적 에이전트 오케스트레이션
• 노드 간 범위 지정 메모리 및 변수 제어
• 멀티턴 메모리, 폴백 로직 및 재시도
• API 호출, 웹후크 및 함수 입력을 통한 도구 사용

2. LangChain

LangChain은 프롬프트, 도구, 메모리 체인을 함께 연결하여 LLM 애플리케이션을 구축하기 위한 개발자 우선 프레임워크입니다.

검색 및 계산기와 같은 도구를 사용하여 LLM 호출을 구조화하는 방법으로 시작되었지만 점차 거대한 에코시스템으로 확장되었습니다.

한 릴리스에서는 "에이전트", "어시스턴트", "실행 가능"에 우선순위를 두었습니다. 그 결과 거의 모든 작업을 수행할 수 있는 강력한 툴킷이 탄생했지만 탐색하는 데 시간이 걸리는 경우가 많습니다.

툴킷을 할당하고 여러 상담원에게 라우팅 로직을 구축할 수 있습니다. 구성 요소를 재사용하고 믹스 앤 매치할 수 있으며 외부 API와 잘 통합되는 모듈식 기능도 돋보입니다.

하지만 예상보다 더 많은 글루 코드를 작성하게 될 것입니다. 그리고 추상화 방식이 빠르게 변화하고 있으므로 현재 사용 중인 방식이 여전히 선호되는 방식인지 확인해 볼 필요가 있습니다.

주요 기능

• 프롬프트, 도구 및 메모리의 모듈식 체인화
• LLMs, 벡터 스토어 및 API와 통합
• LangSmith를 사용한 추적 및 평가 옵션

3. CrewAI

CrewAI를 사용하면 각 에이전트의 역할과 업무가 정의된 멀티 에이전트 워크플로우를 쉽게 구축할 수 있습니다. 크루를 만들고 목표를 할당하면 에이전트가 공유 관리자를 통해 협력합니다.

오케스트레이션 로직을 처음부터 작성하지 않고도 에이전트 협업을 모델링하는 가장 빠른 방법 중 하나입니다.

기획자-실행자 쌍, 연구-검토자 흐름 또는 책임이 명확하게 나뉘는 팀 기반 작업과 같은 설정에 이상적입니다.

하지만 일단 복잡성을 추가하기 시작하면 추상화가 어려워집니다. 에이전트가 실행되는 방법과 시기에 대한 유연성이 떨어지고, 동작을 수정하려면 프레임워크의 기본값을 벗어나는 경우가 많습니다.

주요 기능

• 이름, 목표 및 메모리가 있는 역할 기반 상담원 설정
• 순차적 및 병렬 에이전트 실행 지원
• 상담원 협업을 위한 승무원 공유 메모리
• 도구, 기능 및 사용자 지정 프롬프트와의 간편한 통합

4. AutoGPT

AutoGPT는 사람의 지속적인 입력 없이도 계획하고, 생각하고, 연구하고, 실행하는 등 GPT 챗봇에 목표를 부여하고 실행하게 하면 어떤 모습이 되는지 보여준 최초의 프로젝트입니다.

목표를 정의하면 AutoGPT가 추론 단계를 반복하고, 하위 목표를 생성하고, 도구를 호출하고, 그 과정에서 전략을 조정합니다.

에이전트 동작이 자율적이고 역동적으로 느껴지도록 하는 데 있어 큰 도약이었습니다. 하지만 정확성을 위해 만들어진 것은 아닙니다.

작업 루프가 깨지기 쉬우므로 상담원들은 같은 계획을 다시 작성하거나 관련 없는 하위 작업을 쫓아다니는 데 시간을 허비하는 경향이 있습니다.

메모리, 도구, API를 연결할 수 있지만 모든 것을 하나로 묶으면 디버깅하거나 조정하기 어려운 예측할 수 없는 흐름이 발생하는 경우가 많습니다.

주요 기능

• 셀프 프롬프트 및 작업 계획을 갖춘 목표 중심 에이전트
• 자동 하위 작업 생성 및 실행 루프
• 플러그인 및 API 호출을 통한 도구 사용 지원
• 사용자 지정 스크립트, 함수 및 통합으로 확장 가능

5. Autogen

Autogen은 구조화된 턴 기반 메시지를 통해 상담원이 상호 작용하는 다중 상담원 대화에 중점을 둔 Microsoft의 오픈 소스 프레임워크입니다.

실행 루프 또는 휴먼 인 더 루프 시스템과 같이 모든 교환을 제어하려는 경우 특히 유용합니다.

Autogen은 투명성에서 빛을 발합니다. 대화 도중에 함수를 삽입하고, 사용자 지정 로직을 통해 의사 결정을 라우팅하고, 각 상담원이 말한 내용과 이유를 정확히 추적할 수 있습니다.

하지만 이를 확장하려면 작업이 필요합니다. 메시지 오케스트레이션은 유연하지만 추상화되어 있지 않기 때문에 여전히 기록, 상담원 구성 및 단계 로직을 직접 관리해야 합니다.

연구 설정, 통제된 테스트 또는 재현 가능한 에이전트 행동의 경우 가장 정밀한 프레임워크 중 하나입니다.

주요 기능

• 턴 기반 멀티 에이전트 커뮤니케이션 프레임워크
• 휴먼 인 더 루프 및 기능 호출 에이전트 지원
• 투명한 메시지 추적 및 사용자 지정 로직 삽입

1단계: 단일 에이전트 로직이 중단되는 지점 파악하기

봇이나 시스템에서 긴 프롬프트나 연쇄적으로 연결된 도구 호출 등 무언가가 늘어지기 시작한 곳을 찾아보세요. 그곳이 바로 진입 지점입니다. 다음은 쉽게 발견할 수 있는 몇 가지 일반적인 예입니다:

1. 사용자 입력을 구문 분석하고, 자격을 확인하고, 환불을 발행하고, 확인을 전송하는 환불 흐름이 모두 하나의 루프에서 이루어집니다.
2. 단일 프롬프트 체인에서 데이터를 수집하고, 양식의 유효성을 검사하고, 사용자 유형을 할당하고, 이메일을 트리거하는 온보딩 시퀀스

전체 시스템을 재설계하는 대신 이미 균열이 있는 워크플로를 격리하는 것뿐입니다.

2단계: 프레임워크를 다루기 전에 역할 정의하기

복잡한 로직을 찾았다면 이를 실제 책임으로 세분화하세요.

입력의 유효성을 검사하는 에이전트가 있다면 그것은 하나의 에이전트입니다. 외부 작업을 처리하는 에이전트가 있다면 그것은 또 다른 에이전트입니다.

핸드오프가 어디에 있는지 알 수 있을 정도로 평이한 언어로 작성하세요.

모든 것이 눈앞에 나타나면 실제로 분리해야 할 항목과 축소할 수 있는 항목이 무엇인지 알 수 있습니다. 또한 어떤 종류의 프레임워크가 필요한지 감을 잡을 수 있습니다.

모든 역할은 자체적으로 테스트할 수 있는 것처럼 느껴져야 합니다.

3단계: 프레임워크 선택

워크플로 스타일에 맞는 플랫폼을 선택하세요.

• 시각적: Botpress, 노드 기반 흐름과 범위 지정 메모리가 필요한 경우.
• 코드 우선: 파이썬으로 로직을 배선하는 데 익숙하다면 LangChain 또는 CrewAI를 사용하세요.

프레임워크는 상담원이 등록, 트리거 및 연결되는 방식을 결정합니다.

4단계: 첫 번째 워크플로 구축

이제 이러한 역할을 에이전트로 전환하세요. 프레임워크 내에서 에이전트를 정의하고 각 에이전트에 이름, 직무, 필요한 도구 또는 API 액세스 권한을 부여하세요.

제자리에 배치되면 연결하세요. 프레임워크에서 제공하는 라우팅을 사용하여 한 에이전트에서 다음 에이전트로 이동하세요.

여기서 목표는 에이전트가 자신의 레인에 머무르면서 하나의 완전한 워크플로우를 엔드 투 엔드로 실행하는 것입니다.

5단계: 시스템을 실행하고 모든 핸드오프 검사하기

처음부터 끝까지 전체 워크플로우를 트리거하고 어떤 일이 일어나는지 추적하세요. 각 에이전트가 무엇을 수신하고, 무엇을 반환하는지, 에이전트 간에 흐름이 깔끔하게 이동하는지 살펴봐야 합니다.

상담원이 혼란스러운 입력을 받는다면 아마도 범위를 잘못 설정한 것일 수 있습니다. 로직이 예기치 않게 점프하는 경우 라우팅을 수정해야 합니다. 

핸드오프가 깔끔하게 완료되면 제대로 작동하는 시스템을 갖추게 됩니다.

핵심 로직을 중앙 집중식으로 유지

중요한 결정을 여러 상담원에게 분산시키지 마세요. 주요 추론이 느슨하게 연결된 여러 곳에 분산되지 않고 한 곳에서 이루어지면 유지 관리 및 테스트가 더 쉬워집니다.

상담원 입력 및 출력을 미리 정의하세요.

각 상담원은 무엇을 받아들이고 무엇을 돌려주는지 명확하게 정의된 계약을 가지고 있어야 합니다. 이렇게 하면 상담원이 플로우 로직을 깨지 않고도 쉽게 교체하거나 새로운 워크플로에 연결할 수 있습니다.

상담원 간에 전달되는 모든 메시지 기록

상담원이 서로 대화하는 내용을 볼 수 없다면 아무것도 디버깅할 수 없습니다. 모든 입력과 출력이 흐름을 역추적할 수 있는 충분한 컨텍스트와 함께 기록되도록 하세요.

범위 지정 메모리를 사용하여 노이즈와 비용 절감

각 상담원에게 필요한 컨텍스트만 제공하세요. 전체 메모리 액세스는 프롬프트가 비대해지고 토큰 사용량이 증가하며 집중해야 할 에이전트의 예측할 수 없는 동작으로 이어집니다.

AI 프로젝트에 실제로 멀티 에이전트 프레임워크가 필요한지, 아니면 단일 에이전트로 충분한지 어떻게 알 수 있나요?

특히 여러 개의 서로 다른 작업을 처리할 때 단일 에이전트의 프롬프트나 워크플로가 너무 길어지거나 디버깅하기 어려운 경우 AI 프로젝트에 멀티 에이전트 프레임워크가 필요할 수 있지만, 기본적인 Q&A나 단일 목적 봇과 같은 간단한 사용 사례는 에이전트 한 명으로도 잘 작동하는 경우가 많습니다.

멀티 에이전트 프레임워크로 구축하는 것이 대기업 프로젝트에만 적합할까요, 아니면 소규모 스타트업에도 적합할까요?

멀티 에이전트 프레임워크로 구축하는 것은 대기업뿐만 아니라 소규모 스타트업도 이점을 누릴 수 있습니다. 복잡한 작업을 하나의 크고 관리하기 어려운 루프에 쌓아두는 대신 전문 에이전트로 분할하면 소규모 프로젝트도 디버깅이 쉬워지기 때문입니다.

멀티 에이전트 시스템을 사용하려면 모든 것을 별도의 에이전트로 분할해야 하나요, 아니면 단일 에이전트와 멀티 에이전트 로직을 혼합할 수 있나요? 

멀티 에이전트 시스템을 사용한다고 해서 모든 것을 별도의 에이전트로 나눌 필요는 없습니다. 간단한 작업에는 단일 에이전트 로직을 혼합하고 복잡한 워크플로우에는 멀티 에이전트 오케스트레이션을 예약할 수 있습니다.

멀티 에이전트 시스템은 애플리케이션에서 단순히 여러 API 또는 마이크로 서비스를 사용하는 것과 어떻게 다른가요?

다중 에이전트 시스템은 구조화된 메시지와 상태를 전달하는 고유한 역할과 추론 기능을 갖춘 전문화된 AI 에이전트를 조정하는 반면, API와 마이크로서비스는 개별 기능을 처리하지만 복잡한 워크플로를 독립적으로 조율하지 않기 때문에 여러 API 또는 마이크로서비스를 사용하는 것과는 다릅니다.

멀티 에이전트 시스템을 운영하는 비용은 단일 대형 LLM 운영하는 비용과 어떻게 비교되나요?

소규모의 전문화된 에이전트가 긴 프롬프트나 반복되는 컨텍스트에 토큰을 낭비하지 않고 특정 작업을 효율적으로 처리할 수 있기 때문에 멀티 에이전트 시스템을 운영하는 비용은 하나의 대규모 LLM 운영하는 것보다 저렴할 수 있지만, 오케스트레이션 및 에이전트 간 커뮤니케이션을 관리하는 데 추가적인 오버헤드가 발생하므로 사용 사례의 복잡성에 따라 절감액이 달라질 수 있습니다.