AI 프로젝트를 위한 사용자 지정 LLM 선택 방법

LLMs AI 솔루션 구축 방식을 변화시키고 있습니다. 더 새롭고 더 나은 기성 모델이 계속 출시되고 있습니다.

제가 자주 받는 질문은 기성 솔루션 대신 사용자 지정 LLM 을 선택해야 하는 이유가 무엇인가요?

AI 에이전트 또는 AI 챗봇 구축과 같은 AI 프로젝트를 진행 중인 경우 사용자 정의된 대규모 언어 모델(LLM)을 사용할 수 있습니다.

사용자 정의 LLM 를 사용해야 하는 이유는 많으며 다양한 옵션을 마음대로 사용할 수 있습니다. 이 글에서는 AI 프로젝트를 위해 LLM 을 사용자 지정하는 다양한 방법을 안내해 드리겠습니다.

사용자 지정 LLM 을 사용하는 이유 ?

사용자 지정 LLM 을 사용해야 하는 몇 가지 이유가 있습니다:

비즈니스 사용 사례에 중요한 특정 작업에 집중하여 비용을 절감하거나 지연 시간을 최소화하고 싶을 수 있습니다.
모든 데이터를 비공개로 유지하거나 회사에서 제공하는 사내 LLM 를 사용할 수 있습니다.
특정 작업에 대한 답변의 품질을 개선하고 싶을 수도 있습니다.

이유가 무엇이든 LLM 을 사용자 지정하면 비즈니스 요구 사항에 맞게 정확성, 속도, 비용의 균형을 맞춰 성능을 최적화할 수 있습니다.

AI 에이전트 구축

LLM- 기반 AI 에이전트 구축

지금 시작하기

신용카드 필요 없음

선택 LLM

LLMs AI 프로젝트에 영향을 미치는 두 가지 특성은 크기(매개변수 수로 측정)와 응답 품질입니다.

두뇌의 뉴런과 같은 매개변수를 생각할 수 있습니다. 두뇌가 크면 똑똑하다고 생각하는 경우가 많지만, 항상 그런 것은 아닙니다. 그리고 뇌의 일부는 시각과 같은 특정 작업에 고도로 최적화되어 있을 수 있습니다.

AI 프로젝트의 경우 일반적으로 크기는 응답 속도에 영향을 미치며, 비용 응답에도 큰 영향을 미칩니다. 짧은 지연 시간이 필요한 프로젝트에서는 더 작은 모델을 사용하는 경우가 많지만 응답 품질이 저하될 수 있습니다.

모델 선택 시 고려해야 할 사항

다음은 모델을 선택할 때 답변할 수 있는 좋은 질문 목록입니다:

클라우드 기반( LLM )을 사용할 수 있나요, 아니면 직접 호스팅해야 하나요?
얼마나 빨리 응답해야 하나요?
응답이 얼마나 정확해야 하나요?
내 프로젝트가 얼마나 많은 $$를 절약하거나 창출할 수 있나요? 그렇다면 어느 가격 이하로 내려가야 할까요?
응답 시간은 얼마나 걸리나요?

일반적으로 강력한 모델의 속도를 높이거나 비용을 절감하기는 어렵고, 정확도가 떨어지는 모델을 개선하는 것이 더 쉽습니다.

그러나 강력한 모델로 시작하는 것이 훨씬 빠르며, 프로젝트의 요구 사항을 충족하는 경우 엔지니어링 노력이 많이 필요하지 않을 수 있습니다(유지 관리가 더 쉬워지기도 합니다).

RAG, 미세 조정, N-Shot 학습, 프롬프트 엔지니어링 중에서 선택하기

LLM 응답의 품질을 개선하는 5가지 일반적인 개념이 있습니다:

사전 학습된 모델에서 시작
RAG
미세 조정
N샷 프롬프트
신속한 엔지니어링

이는 사용자 정의 모델을 사용하는 경우에만 적용되는 것은 아니지만, 서로 함께 작동하므로 고려해야 합니다.

모델에서 시작하기

가장 먼저 해야 할 일은 시작 모델을 선택하는 것입니다. 온라인에는 다양한 모델을 비교하는 순위표가 많이 있습니다.

예를 들어

허깅 페이스는 오픈 소스 모델에 대한 리더보드를 유지합니다.
Vellum은 더 인기 있는 모델을 위한 훌륭한 제품을 제공합니다.

회사에 사내 모델이 있는 경우 이를 사용하여 예산에 맞게 작업하고 데이터를 비공개로 유지하는 것을 고려하세요. 모델을 직접 호스팅해야 하는 경우 오픈 소스 모델을 고려하세요.

미세 조정

미세 조정에는 특정 작업을 잘 수행하는 방법을 학습할 수 있도록 모델에 예시를 제공하는 것이 포함됩니다. 제품에 대해 잘 말하도록 하려면 회사의 최고의 영업 통화 사례를 많이 제공할 수 있습니다.

모델이 오픈 소스인 경우, 팀에 모델을 미세 조정할 수 있는 엔지니어링 역량이 충분한지 자문해 보세요.

모델이 비공개 소스이고 서비스로 제공되는 경우( GPT-4 또는 Claude) 일반적으로 엔지니어가 API를 사용하여 사용자 지정 모델을 미세 조정하도록 할 수 있습니다. 이 방법을 사용하면 일반적으로 가격이 크게 상승하지만 유지 관리가 거의 또는 전혀 필요하지 않습니다.

하지만 많은 사용 사례에서 미세 조정이 모델 최적화를 위한 첫 번째 단계는 아닙니다.

미세 조정을 위한 좋은 사례는 정적 지식에 대한 지식 봇을 구축하는 것입니다. 질문과 답변의 예를 제공하면 나중에 답을 찾지 않고도 답을 찾을 수 있어야 합니다. 하지만 실시간 정보에 대한 실용적인 솔루션은 아닙니다.

검색 증강 세대

RAG는 ChatGPT 에 텍스트를 붙여넣고 ChatGPT 에 질문을 하는 간단한 작업의 멋진 이름입니다.

일반적인 예로는 전자상거래 사이트에 특정 제품의 재고가 있는지 묻는 경우 챗봇이 광범위한 인터넷 대신 제품 카탈로그에서 정보를 조회하는 것을 들 수 있습니다.

개발 속도와 실시간 정보 획득 측면에서 RAG는 반드시 필요한 기능입니다.

일반적으로 어떤 모델을 선택할지는 영향을 미치지 않지만, 정보를 쿼리하고 답변을 제공하는 LLM API 엔드포인트를 만들고 이 엔드포인트를 마치 자체적인 것처럼 사용하는 것을 막을 수는 없습니다 LLM.

지식 기반 챗봇에 RAG를 사용하면 모델을 미세 조정하고 최신 상태로 유지할 필요가 없으므로 유지 관리가 더 쉬우며 비용도 절감할 수 있습니다.

N-샷 학습

응답 품질을 개선하는 가장 빠른 방법은 LLM API 호출 한 번으로 예제를 제공하는 것입니다.

제로 샷(답변에서 찾고 있는 내용에 대한 예시를 하나도 제시하지 않는 것)은 대부분의 사람들이 ChatGPT 을 사용하는 방식입니다. 일반적으로 예제 하나(또는 원샷)를 추가하는 것만으로도 응답 품질이 크게 향상되는 것을 볼 수 있습니다.

두 개 이상의 예가 N샷으로 간주됩니다. N샷은 미세 조정과 달리 모델을 변경하지 않습니다. 단순히 질문을 할 때마다 답변을 요청하기 직전에 예시를 제시하는 것입니다.

LLM 모델은 최대 컨텍스트 크기가 있으며 메시지 크기에 따라 요금이 책정되므로 이 전략을 남용해서는 안 됩니다. 미세 조정을 통해 N샷 예시가 필요하지 않을 수 있지만 올바르게 설정하는 데 시간이 더 걸립니다.

기타 프롬프트 엔지니어링 기술

모델이 답을 내놓기 전에 큰 소리로 생각하도록 하는 연쇄적 사고와 같은 다른 즉각적인 엔지니어링 기법도 있습니다.

이렇게 하면 응답 품질이 향상되지만 응답 시간, 비용 및 속도가 희생됩니다.

내 추천

모든 프로젝트마다 고유한 요구 사항이 있겠지만, 강력한 접근 방식에 대해 두 가지 의견을 말씀드리겠습니다.

시작하기 좋은 방법은 속도와 품질이 균형을 이루는 기성 모델( GPT-4o Mini)을 사용하는 것입니다. 먼저 응답의 품질, 응답 속도, 비용, 컨텍스트 창 요구 사항을 살펴보고 거기서부터 개선해야 할 사항을 결정하세요.

그런 다음 사용 사례가 좁은 경우 간단한 프롬프트 엔지니어링을 시도한 다음 RAG를 사용하여 마지막으로 미세 조정을 수행할 수 있습니다. 이러한 과정을 거치는 모든 모델에는 성능 향상이 있기 때문에 어떤 것을 사용해야 할지 파악하기가 까다로울 수 있습니다.

개인정보 보호 고려 사항

이상적인 세계에서는 모든 LLM 사이트가 100% 회원님의 통제 하에 있으며, 아무 곳에도 노출되지 않습니다.

안타깝게도 실제로는 그렇지 않은데, 그만한 이유가 있습니다.

첫 번째는 간단합니다. 사용자 지정 모델을 호스팅하고 유지 관리하려면 엔지니어링이 필요하며 이는 비용이 매우 많이 듭니다. 호스팅된 모델에 다운타임이 발생하면 비즈니스 지표에 영향을 미치므로 배포가 매우 견고해야 합니다.

또 다른 이유는 업계 리더인 OpenAI, Google, Anthropic 등이 지속적으로 더 새롭고 성능이 뛰어나며 저렴한 모델을 출시하여 미세 조정 작업을 불필요하게 만들고 있기 때문입니다. 이는 ChatGPT 3.5 버전 출시 이후에도 마찬가지였으며 앞으로도 변할 기미가 보이지 않습니다.

사용 사례에 매우 민감한 데이터가 있는 경우 모델을 사용하여 사용 사례에 맞게 최적화하는 것이 좋습니다. GDPR을 가장 중요하게 생각하는 경우 GDPR을 준수하는 기성 모델이 많이 있습니다.

선택한 후 건물 LLM

LLM 을 선택한 후에는 AI 프로젝트를 어떻게 구축하고 유지 관리할지 고민할 수 있습니다. 제가 가장 잘 알고 있는 프로젝트 유형인 AI 에이전트 또는 AI 챗봇을 예로 들어 보겠습니다.

다음 질문에 답하여 프로젝트의 범위를 정할 수 있습니다:

AI 에이전트를 어디에 배치하길 원하나요? (Slack, WhatsApp, 웹사이트 위젯 등)
어떤 지식이 있어야 하며, 그 지식은 어디에 있을까요?
지식 기반 답변 외에 어떤 기능이 있어야 하나요?
비즈니스 어딘가에서 어떤 일이 발생하면 활성화되어야 하나요?

엔지니어링 부하를 분산하여 비용 절감

프로젝트를 실현하려면 예산을 효율적으로 관리하는 것이 중요합니다. 이를 위한 방법 중 하나는 요구 사항을 분리하여 엔지니어링 시간을 줄이는 것입니다.

요즘에는 제품 관리자와 같은 전통적으로 비기술 직군에서 사용할 수 있는 Flutterflow, Shopify와 같은 로우코드 솔루션에 액세스할 수 있습니다. 챗봇도 예외는 아니며, 일부 AI 자동화 플랫폼에서는 자체적으로 LLM 을 사용할 수도 있습니다.

엔지니어에게 LLM 호스팅과 자동화 플랫폼 설정에 집중하도록 지시할 수 있습니다. 그러면 비즈니스 분석가, 제품 관리자 및 기타 관련 역할이 비즈니스 요구 사항을 충족하는 AI 에이전트를 구축할 수 있는 시간을 확보할 수 있습니다.

추가 기능이 필요한 경우 이러한 플랫폼에는 일반적으로 엔지니어가 코드를 추가할 수 있는 방법이 있습니다. 이렇게 하면 사용자 지정 모델의 장점은 유지하면서 유연성, 속도 및 경제성을 확보할 수 있습니다.

비즈니스 문제 해결을 위한 엔지니어링의 자유 제공

반면에 때로는 비즈니스 문제를 해결하기가 매우 어려운 경우도 있습니다.

네트워크가 완전히 분리된 LLM 애플리케이션, 온디바이스 앱 또는 챗봇에 두 플랫폼 간의 데이터 동기화 이상의 매우 고급 기능을 제공해야 하는 프로젝트에 대해 이야기하고 있습니다.

이러한 경우 엔지니어가 가장 편한 도구를 자유롭게 사용할 수 있도록 허용하는 것이 좋습니다. 보통은 코드 작성만 하고 이해관계자는 프로젝트 관리자 역할만 하면 됩니다.

사용자 지정에 대한 전략적 고려 사항 LLM

AI 프로젝트를 위한 맞춤형 LLM 을 선택하는 것은 단순히 최고의 모델을 선택하는 것이 아니라 목표에 부합하는 전략적 결정을 내리는 것입니다.

사용자 지정 모델은 유연성, 제어 기능, 특정 작업에 최적화할 수 있는 잠재력을 제공하지만 복잡성이 증가합니다. 기성 모델로 시작하여 신속한 엔지니어링으로 실험한 후 점진적으로 개선해 나가세요.

올바른 모델은 기술뿐만 아니라 비즈니스 요구 사항에도 적합해야 한다는 점을 기억하세요 stack.

강력한 플랫폼으로 사용자 지정

AI 프로젝트를 한 단계 업그레이드할 준비가 되셨나요?

Botpress 는 완전히 확장 가능하고 유연한 AI 에이전트 플랫폼입니다. 개발자는 stack 에서 가능한 모든 사용 사례에 맞는 챗봇과 AI 에이전트를 구축할 수 있습니다.

강력한 교육 플랫폼을 제공합니다, Botpress Academy와 상세한 YouTube 채널을 제공합니다. Discord 에서 20,000명 이상의 봇 빌더를 호스트하고 있으므로 언제든지 필요한 지원을 받을 수 있습니다.

↪CF_200D↩오늘 구축 시작하기. 무료입니다.