AI에서 검색 증강 생성(RAG)이란 무엇인가요?

1. 검색 

이 모델은 정형 또는 비정형 소스(예: 데이터베이스, PDF, HTML 파일 또는 기타 문서)에서 관련 데이터를 검색하고 검색합니다. 이러한 소스는 정형(예: 표)이거나 비정형(예: 승인된 웹사이트)일 수 있습니다.

2. 세대

검색 후 정보는 LLM 에 입력됩니다. LLM 은 이 정보를 사용하여 자연어 응답을 생성하고 승인된 데이터를 자체 언어 기능과 결합하여 정확하고 인간과 유사한 브랜드에 맞는 응답을 생성합니다.

예시 1: 로펌

로펌에서는 AI 시스템에서 RAG를 사용할 수 있습니다:

• 연구 중에 문서 데이터베이스에서 관련 판례, 판례, 법률 판결을 검색하세요.
• 사건 파일과 과거 판결문에서 주요 사실을 추출하여 사건 요약을 생성하세요.
• 직원들에게 관련 규정 업데이트를 자동으로 제공합니다.

예 2: 부동산 중개업

부동산 중개업체는 AI 시스템에서 RAG를 사용하여 다음과 같은 작업을 수행할 수 있습니다:

• 부동산 거래 내역과 주변 범죄 통계의 데이터를 요약합니다.
• 현지 부동산 관련 법률 및 규정을 인용하여 부동산 거래에 관한 법적 질문에 답변하세요.
• 부동산 상태 보고서, 시장 동향, 과거 판매 기록에서 데이터를 가져와서 감정 프로세스를 간소화하세요.

예 3: 전자상거래 스토어

이커머스에서는 AI 시스템에서 RAG를 사용하여 다음과 같은 작업을 수행할 수 있습니다:

• 회사 데이터베이스에서 제품 정보, 사양 및 리뷰를 수집하여 개인화된 제품 추천 정보를 제공합니다.
• 주문 내역을 검색하여 사용자 선호도에 맞는 맞춤형 쇼핑 경험을 생성합니다.
• 고객 세분화 데이터를 검색하고 이를 최근 구매 패턴과 결합하여 타겟 이메일 캠페인을 생성하세요.

환각 및 부정확성 방지

전통적인 언어 모델은 종종 설득력 있게 들리지만 실제로는 부정확하거나 관련 없는 응답인 환각을 불러일으킵니다.

RAG는 신뢰할 수 있고 관련성이 높은 데이터 소스를 기반으로 응답하여 환각을 완화합니다. 

검색 단계는 모델이 정확한 최신 정보를 참조하도록 하여 환각의 가능성을 크게 줄이고 신뢰성을 높입니다.

최신 정보 검색

LLMs 은 많은 작업을 위한 강력한 도구이지만, 맞춤형 비즈니스 지식을 포함하여 희귀하거나 최근의 정보에 대한 정확한 정보를 제공하지 못합니다.

하지만 RAG를 사용하면 웹사이트, 표 또는 데이터베이스를 포함한 모든 소스에서 실시간 정보를 가져올 수 있습니다. 

이렇게 하면 진실의 출처가 업데이트되는 한 모델이 최신 정보로 응답할 수 있습니다.

복잡한 상황에서의 커뮤니케이션

기존 LLM 사용의 또 다른 약점은 컨텍스트 정보의 손실입니다.

LLMs 길거나 복잡한 대화에서 맥락을 유지하는 데 어려움을 겪습니다. 이로 인해 불완전하거나 단편적인 응답이 나오는 경우가 많습니다.

그러나 RAG 모델을 사용하면 의미론적으로 연결된 데이터 소스에서 직접 정보를 가져와서 컨텍스트 인식을 할 수 있습니다. 

제품 카탈로그가 탑재된 판매 챗봇처럼 사용자의 필요에 맞는 추가 정보를 제공하는 RAG를 통해 AI 상담원은 상황에 맞는 대화에 참여할 수 있습니다. 

1. 문서 업로드

먼저 빌더가 AI 에이전트의 라이브러리에 문서나 파일을 업로드합니다. 파일은 웹페이지, PDF 또는 기타 지원되는 형식일 수 있으며, 이는 AI 지식창고의 일부를 구성합니다.

2. 문서 변환

PDF, 웹페이지 등 다양한 유형의 파일이 존재하기 때문에 시스템은 이러한 파일을 표준화된 텍스트 형식으로 변환합니다. - 시스템은 이러한 파일을 표준화된 텍스트 형식으로 변환하여 AI가 관련 정보를 쉽게 처리하고 검색할 수 있도록 합니다.

3. 청크 및 저장

그런 다음 변환된 문서는 관리하기 쉬운 작은 조각 또는 청크로 분류됩니다. 이러한 청크는 데이터베이스에 저장되어 AI 에이전트가 쿼리 중에 관련 섹션을 효율적으로 검색하고 검색할 수 있습니다.

4. 사용자 쿼리

지식창고가 설정되면 사용자는 AI 상담원에게 질문할 수 있습니다. 자연어 처리(NLP) 를 사용하여 쿼리를 처리하여 사용자가 질문하는 내용을 이해합니다.

5. 지식 검색

AI 에이전트는 검색 알고리즘을 사용하여 저장된 청크를 검색하여 업로드된 문서에서 사용자의 질문에 답할 수 있는 가장 관련성이 높은 정보를 찾습니다.

6. 세대

마지막으로 AI 에이전트는 검색된 정보를 언어 모델 기능과 결합하여 쿼리와 검색된 데이터를 기반으로 일관되고 문맥에 맞는 정확한 답변을 생성합니다.

시맨틱 청크 대 네이티브 청크

네이티브 청크는 의미나 문맥에 관계없이 텍스트를 500단어 단위로 자르는 것처럼 문서를 고정된 크기의 조각으로 분할하는 것을 말합니다. 

반면에 시맨틱 청킹은 콘텐츠에 따라 문서를 의미 있는 섹션으로 나눕니다.

단락이나 주제와 같은 자연스러운 구분을 고려하여 각 단락에 일관된 정보가 포함되도록 합니다.

필수 인용

금융이나 의료와 같이 AI와의 고위험 대화를 자동화하는 산업에서 인용문은 사용자가 정보를 받을 때 신뢰를 심어주는 데 도움이 될 수 있습니다.

개발자는 RAG 모델에 전송된 모든 정보에 대해 인용을 제공하도록 지시할 수 있습니다. 

예를 들어 직원이 AI 챗봇에게 건강 보험 혜택에 대한 정보를 요청하면 챗봇이 응답하여 관련 직원 혜택 문서에 대한 링크를 제공할 수 있습니다. 

1. RAG는 LLM 미세 조정과 어떻게 다른가요?

RAG를 사용하면 기본 LLM 그대로 유지하고 쿼리 시 관련 정보만 가져올 수 있으며, 미세 조정은 데이터에 대한 학습을 통해 모델을 실제로 변경할 수 있습니다. RAG는 업데이트가 훨씬 빠르고 유연합니다.

2. RAG에 적합하지 않은 데이터 소스에는 어떤 종류가 있나요?

지저분하거나 오래되었거나 지나치게 복잡한 문서(스캔한 이미지나 텍스트가 없는 PDF 등)는 문제가 될 수 있으며, 모호하거나 모순된 정보가 너무 많은 소스도 문제가 될 수 있습니다.

3. RAG는 프롬프트 엔지니어링과 같은 상황별 학습 기법과 어떻게 다른가요?

프롬프트 엔지니어링은 프롬프트에 직접 예제를 채워 넣는 방식으로 작동하지만, RAG는 외부 지식을 동적으로 가져와서 토큰 한도에 빨리 도달하지 않고 훨씬 더 큰 정보 기반을 활용할 수 있으므로 확장성이 더 뛰어납니다.

4. RAG를 OpenAI, Anthropic 또는 Mistral과 같은 타사 LLMs 함께 사용할 수 있나요?

물론 API를 통해 대부분의 인기 있는 LLMs RAG 시스템을 연결할 수 있습니다. 검색 부분은 직접 처리하고 최종 프롬프트(컨텍스트 포함)를 모델에 보내기만 하면 됩니다.

5. RAG 지원 AI 에이전트에 대한 지속적인 유지 관리란 무엇인가요?

새 문서를 다시 색인화하여 지식창고를 최신 상태로 유지하고, 성능을 모니터링하여 부실하거나 누락된 응답을 찾아내며, 가끔 청크 또는 검색 설정을 조정하여 관련성을 개선하고 싶을 것입니다.