LLM 에이전트 완전 가이드 (2025)

1. 언어 모델 

언어 모델은 종종 LLM 에이전트의 '두뇌'로 간주됩니다. 그 품질과 규모는 LLM 에이전트의 성능에 직접적인 영향을 미칩니다.

방대한 텍스트 데이터 세트를 학습한 정교한 알고리즘으로, 문맥을 이해하고 패턴을 인식하며 일관되고 맥락에 맞는 응답을 생성할 수 있습니다.

• 언어 패턴 식별 및 학습
• 방대한 학습 데이터를 통해 어느 정도의 상황 인식 능력 향상
• 다양한 도메인에 적응하고 다양한 주제를 처리하세요.

언어 모델은 상담원의 언어 능력의 기초가 되는 응답의 깊이, 정확성 및 관련성을 결정합니다. 

2. 메모리

메모리는 사실, 사용자 선호도 또는 세션 전반의 주제와 같은 과거 상호 작용에서 얻은 정보를 유지하는 기능을 말합니다. 

이를 통해 상담원의 문맥 이해도가 향상되고 대화가 더욱 연속적이고 관련성이 높아집니다. 

일부 설정에서는 메모리를 통해 상담원이 시간이 지나도 정보를 유지할 수 있습니다. 이는 상담원이 반복되는 사용자 행동이나 선호도를 통해 '학습'하는 장기적인 상호작용을 지원하지만, 개인정보 보호 및 관련성을 위해 규제되는 경우가 많습니다.

3. 도구 사용

이 도구를 사용하면 LLM 상담원이 대화에서 행동으로 옮길 수 있습니다. 

LLM 에이전트는 외부 애플리케이션, 데이터베이스 또는 API와 통합하여 특정 기능을 수행할 수 있습니다. 

즉, 실시간 정보를 가져오고, 외부 작업을 실행하거나, 특수 데이터베이스에 액세스하여 실시간 정보를 제공할 수 있는 기능을 제공합니다. 여기에는 다음이 포함됩니다:

• API 호출하기
• 날씨 업데이트나 주가 같은 실시간 데이터 가져오기
• 회의 또는 약속 예약하기
• 제품 카탈로그나 인사 정책 문서와 같은 데이터베이스 쿼리하기

툴을 사용하면 LLM 상담원이 수동적인 지식 기반 시스템에서 다른 시스템과 상호 작용할 수 있는 능동적인 참여자로 전환할 수 있습니다.

4. 계획 

계획은 LLM 상담원이 복잡한 작업을 관리 가능한 일련의 단계로 세분화하는 기능입니다. 

LLM 상담원은 피드백을 받거나 받지 않고 계획을 세울 수 있습니다. 어떤 차이가 있을까요?

• 피드백 없이 계획을 세우면 LLM 상담원이 초기 이해를 바탕으로 계획을 작성합니다. 더 빠르고 간단하지만 적응력이 부족합니다.
• 피드백이 포함된 계획은 LLM 상담원이 환경의 의견을 반영하여 계획을 지속적으로 개선할 수 있음을 의미합니다. 더 복잡하지만 훨씬 더 유연하고 시간이 지남에 따라 성능이 향상됩니다. 

LLM 상담원은 계획을 통해 솔루션을 향해 점진적으로 이동하는 논리적 흐름을 만들 수 있으므로 복잡한 요청을 보다 효과적으로 처리할 수 있습니다.

1. 대화형 상담원(예: 고객 지원 및 리드 생성)

이러한 유형의 상담원은 사용자와 자연스럽게 대화를 나누며 정보를 제공하고 질문에 답하며 다양한 작업을 지원합니다. 

이러한 에이전트는 LLMs 을 사용하여 사람과 유사한 응답을 이해하고 생성합니다. 

예시: 예: 고객 지원 상담원 및 의료 챗봇

2. 작업 지향 에이전트(예: AI 어시스턴트 및 AI 워크플로) 2.

특정 작업을 수행하거나 미리 정의된 목표를 달성하는 데 중점을 둔 이러한 에이전트는 사용자와 상호 작용하여 사용자의 요구 사항을 파악한 다음 이러한 요구 사항을 충족하기 위한 작업을 실행합니다.

예시 예:AI 어시스턴트 및 HR 봇

3. 크리에이티브 에이전트(예: 콘텐츠 제작 도구)

예술 작품, 음악, 글쓰기 등 독창적이고 창의적인 콘텐츠를 제작할 수 있는 이 에이전트는 LLMs 을 통해 사람들의 선호도와 예술적 스타일을 파악하여 시청자의 공감을 이끌어내는 콘텐츠를 제작할 수 있습니다. 

예시 예: 콘텐츠 생성 도구 및 이미지 생성 도구(예: Dall-E)

4. 협업 에이전트(예: 엔터프라이즈 AI 에이전트)

이러한 에이전트는 인간과 함께 공동의 목표나 작업을 수행하며 팀원 간 또는 인간과 기계 간의 커뮤니케이션, 조정, 협력을 촉진합니다. 

LLMs 는 의사 결정을 지원하거나 보고서를 생성하거나 인사이트를 제공함으로써 공동 작업 에이전트를 지원할 수 있습니다.

예시: 대부분의 엔터프라이즈 AI 에이전트 및 프로젝트 관리 챗봇

고객 지원

자동화 전문가인 파스칼 보네가 167개 기업을 대상으로 실시한 연구에 따르면 고객 서비스는 LLM 에이전트 도입의 가장 인기 있는 사용 사례입니다.

LLM 상담원은 고객 지원에서 자주 묻는 질문을 처리하고 문제를 해결하며 연중무휴 24시간 지원을 제공하는 데 널리 사용됩니다. 

이러한 상담원은 실시간으로 고객과 소통하여 즉각적인 도움을 제공하거나 복잡한 문의를 인간 상담원에게 에스컬레이션할 수 있습니다.

참조하세요: 고객 서비스 챗봇이란 무엇인가요?

영업 및 리드 생성

영업 분야에서 LLM 에이전트는 AI 리드 생성에 사용되며, 잠재 고객을 대화에 참여시키고, 요구 사항을 평가하고, 가치 있는 정보를 수집하여 리드의 자격을 부여할 수도 있습니다. 

또한 후속 상호 작용을 자동화하여 고객의 관심사에 따라 개인화된 추천 또는 제품 정보를 전송할 수 있습니다. 

참조하세요: 영업에 AI를 사용하는 방법

내부 지원 HR 및 IT

내부 지원의 경우, LLM 상담원은 직원들의 일반적인 문의를 처리하여 HR 및 IT 프로세스를 간소화합니다.

실제로 보넷의 연구에 따르면 내부 업무에서 LLM 에이전트가 가장 비용 효율적이며, 기존 내부 업무 수행에 소요되던 시간의 30~90%를 절약할 수 있는 것으로 나타났습니다.

HR에서는 복리후생, 휴가 정책, 급여와 같은 주제에 대한 질문에 답변하고, IT에서는 기본적인 기술 문제에 대한 문제 해결을 제공하거나 계정 설정과 같은 일상적인 작업을 자동화합니다. 

이를 통해 HR 및 IT 팀은 반복적인 바쁜 업무 대신 더 복잡한 책임에 집중할 수 있습니다.

참조하세요: HR을 위한 최고의 AI 상담원

1. 검색 증강 생성

RAG는 ChatGPT 에 텍스트를 붙여넣고 ChatGPT 에 질문을 하는 간단한 작업의 멋진 이름입니다.

일반적인 예로는 전자상거래 사이트에 특정 제품의 재고가 있는지 묻는 경우 챗봇이 광범위한 인터넷 대신 제품 카탈로그에서 정보를 조회하는 것을 들 수 있습니다.

개발 속도와 실시간 정보 획득 측면에서 RAG는 반드시 필요한 기능입니다.

일반적으로 어떤 모델을 선택할지는 영향을 미치지 않지만, 정보를 쿼리하고 답변을 제공하는 LLM API 엔드포인트를 만들고 이 엔드포인트를 마치 자체적인 것처럼 사용하는 것을 막을 수는 없습니다 LLM.

지식 기반 챗봇에 RAG를 사용하면 모델을 미세 조정하고 최신 상태로 유지할 필요가 없으므로 유지 관리가 더 쉬우며 비용도 절감할 수 있습니다.

2. 미세 조정

미세 조정에는 특정 작업을 잘 수행하는 방법을 학습할 수 있도록 모델에 예시를 제공하는 것이 포함됩니다. 제품에 대해 잘 말하도록 하려면 회사의 최고의 영업 통화 사례를 많이 제공할 수 있습니다.

모델이 오픈 소스인 경우, 팀에 모델을 미세 조정할 수 있는 엔지니어링 역량이 충분한지 자문해 보세요.

모델이 비공개 소스이고 서비스로 제공되는 경우( GPT-4 또는 Claude) 일반적으로 엔지니어가 API를 사용하여 사용자 지정 모델을 미세 조정하도록 할 수 있습니다. 이 방법을 사용하면 일반적으로 가격이 크게 상승하지만 유지 관리가 거의 또는 전혀 필요하지 않습니다.

하지만 많은 사용 사례에서 미세 조정이 모델 최적화를 위한 첫 번째 단계는 아닙니다.

미세 조정을 위한 좋은 사례는 정적 지식에 대한 지식 봇을 구축하는 것입니다. 질문과 답변의 예를 제공하면 나중에 답을 찾지 않고도 답을 찾을 수 있어야 합니다. 하지만 실시간 정보에 대한 실용적인 솔루션은 아닙니다.

3. N-샷 러닝

응답 품질을 개선하는 가장 빠른 방법은 LLM API 호출 한 번으로 예제를 제공하는 것입니다.

제로 샷(답변에서 찾고 있는 내용에 대한 예시를 하나도 제시하지 않는 것)은 대부분의 사람들이 ChatGPT 을 사용하는 방식입니다. 일반적으로 예제 하나(또는 원샷)를 추가하는 것만으로도 응답 품질이 크게 향상되는 것을 볼 수 있습니다.

두 개 이상의 예가 N샷으로 간주됩니다. N샷은 미세 조정과 달리 모델을 변경하지 않습니다. 단순히 질문을 할 때마다 답변을 요청하기 직전에 예시를 제시하는 것입니다.

LLM 모델은 최대 컨텍스트 크기가 있으며 메시지 크기에 따라 요금이 책정되므로 이 전략을 남용해서는 안 됩니다. 미세 조정을 통해 N샷 예시가 필요하지 않을 수 있지만 올바르게 설정하는 데 시간이 더 걸립니다.

4. 신속한 엔지니어링 기술

모델이 답을 내놓기 전에 큰 소리로 생각하도록 하는 연쇄적 사고와 같은 다른 즉각적인 엔지니어링 기법도 있습니다.

또한, 여러 프롬프트를 순서대로 실행하여 모델이 복잡한 작업을 더 작은 단계로 나누도록 하는 프롬프트 체이닝 도 있습니다.

이러한 전략을 사용하면 응답의 품질과 안정성을 크게 높일 수 있습니다(특히 추론 중심 작업의 경우). 하지만 응답 시간이 길어지고 토큰 사용량이 늘어나며 성능이 저하되는 경우가 많습니다.

이렇게 하면 응답 품질이 향상되지만 응답 시간, 비용 및 속도가 희생됩니다.

1. 목표 정의

AI 에이전트나 챗봇을 구축하는 첫 번째 단계는 정확히 무엇을 달성하고자 하는지를 파악하는 것입니다.

고객 문의 지원, 콘텐츠 생성, 특정 작업 처리 등 LLM 상담원이 달성하기를 원하는 목표를 명확히 하세요. 

명확한 목표를 파악하면 상담원의 설정 및 구성이 구체화됩니다.

2. AI 플랫폼 선택

최고의 AI 플랫폼은 전적으로 사용자의 목표와 필요에 따라 달라집니다. 

사용자 지정 옵션, 통합 기능, 사용 편의성, 지원 등의 요소를 고려하여 요구사항에 맞는 플랫폼을 선택하세요. 

플랫폼은 그래야 합니다:

• 원하는 사용 사례 지원
• 선호하는 LLMs
• 통합 기능 제공

3. 구성 LLM

플랫폼의 옵션에 따라 사전 구축된 LLM 모델을 선택하거나 필요한 경우 특수 작업에 맞게 모델을 미세 조정합니다. 

많은 플랫폼에서 사전 학습되어 바로 사용할 수 있는 기본 제공 언어 모델을 제공합니다.

LLM 사용법을 사용자 지정하는 데 관심이 있다면, 성장 엔지니어( Patrick Hamelin)의 AI 프로젝트를 위한 사용자 지정 LLM 옵션 선택에 관한 글을 읽어보세요.

4. 도구 통합 

대부분의 플랫폼은 외부 도구에 대한 연동 옵션을 제공합니다. 상담원이 액세스하는 데 필요한 모든 API, 데이터베이스 또는 리소스(예: CRM 데이터 또는 실시간 정보)를 연결하세요.

5. 테스트 및 개선

플랫폼의 기본 제공 테스트 도구를 사용하여 상담원을 철저하게 테스트하세요. 테스트 결과에 따라 매개변수, 프롬프트 문구 및 워크플로를 조정하여 상담원이 실제 시나리오에서 잘 작동하도록 하세요.

6. 배포 및 모니터링 

플랫폼의 모니터링 툴을 사용하여 배포 후 상담원의 상호작용과 성과를 추적하세요. 

플랫폼에서 제공하는 피드백 메커니즘을 활용하여 필요에 따라 인사이트를 수집하고 설정을 개선하세요.

1. LLM 상담원과 챗봇의 차이점은 무엇인가요?

LLM 에이전트와 챗봇의 차이점은 챗봇은 사전 정의된 규칙이나 대화 흐름을 따르는 반면, LLM 에이전트는 대규모 언어 모델을 사용하여 의도를 이해하고, 데이터를 검색하고, 도구나 API를 사용하여 작업을 수행하고, 응답을 동적으로 조정한다는 점입니다. LLM 에이전트는 단순히 응답하는 것이 아니라 자율적으로 추론하고 행동하도록 구축되었습니다.

2. LLM 에이전트가 인터넷 연결 없이도 작동할 수 있나요?

LLM 에이전트는 언어 모델과 필요한 모든 도구 또는 데이터가 온프레미스에서 로컬로 호스팅되는 경우에만 인터넷 연결 없이 작동합니다. 그러나 대부분의 프로덕션 LLM 에이전트는 최신 검색이나 CRM 액세스 등의 작업을 위해 클라우드 기반 API 또는 외부 서비스에 의존합니다.

3. LLM 에이전트에는 항상 언어 모델 백엔드가 필요한가요?

예. 전체 아키텍처가 자연어 입력을 처리하고 출력을 생성하는 모델의 기능에 따라 달라지므로 LLM 에이전트에는 항상 언어 모델 백엔드가 필요합니다. LLM 없으면 에이전트가 사용자 프롬프트를 이해하거나 수행할 작업을 결정할 수 없습니다.

4. 오늘날 LLM 에이전트 사용의 주요 제한 사항이나 위험은 무엇인가요?

LLM 에이전트 사용의 주요 제한 사항으로는 입/출력이 제대로 보호되지 않을 경우 환각(부정확한 응답 생성)과 잠재적인 데이터 유출이 있습니다. 또한 실제 사용 시 안정적이고 규정을 준수하는 동작을 보장하기 위해 신중한 설계와 모니터링이 필요합니다.

5. 어떤 산업에서 가장 빠르게 LLM 에이전트를 도입하고 있나요?

LLM 에이전트를 가장 빠르게 도입하는 산업 분야는 고객 지원, IT 서비스 관리, 의료 관리, 금융 서비스, B2B 영업 등 대량의 반복적인 언어 작업을 자동화하여 효율성과 규모를 높일 수 있는 분야입니다.