어떤 대형 언어 모델(LLM)이 에이전트를 구동할지 결정하는 것은 프로젝트에서 가장 중요한 기술적 결정 중 하나입니다.
이 결정은 에이전트의 성능, 운영 비용, 그리고 시간이 지나도 예측 가능한 동작에 직접적인 영향을 미칩니다.
단 하나의 최고의 모델은 없습니다. 올바른 선택은 목표, 예산, 그리고 결과물에 대한 통제 수준에 따라 달라집니다.
이 결정을 서두르는 팀은 나중에 후회하는 경우가 많습니다. 핵심은 초기에 테스트하고, 우선순위를 명확히 정하며, 한 공급업체나 설정에 얽매이지 않는 것입니다.
좋은 LLM 전략은 네 가지 주요 질문에 답합니다:
- 어떤 모델을 사용하며, 그 이유는 무엇인가요?
- 대안을 얼마나 자주 테스트할 것인가요?
- 귀하의 사용 사례에서 더 중요한 것은 속도인가, 성능인가?
- 모델이 실패하거나 성능이 저하될 때의 대체 방안은 무엇인가요?
이제 각 항목을 살펴보겠습니다.
모델 선택은 명성이 아니라 적합성에 관한 문제입니다. 어떤 모델은 빠르고 저렴하며, 어떤 모델은 느리지만 복잡한 추론에 더 뛰어납니다.
고객과의 짧은 대화가 주된 사용 사례라면, 지연 시간과 비용이 깊이보다 더 중요할 수 있습니다.
여러 단계의 추론이나 상세한 요약이 필요한 경우라면, 성능이 우선일 수 있습니다.
초기부터 자주 테스트하면, 각 모델이 실제 데이터에서 어떻게 동작하는지 알 수 있습니다. 모든 LLM에는 고유한 특성이 있습니다. 어떤 모델은 지시를 잘 따르고, 어떤 모델은 톤이나 정확성에서 강점을 보입니다. 이는 실제 워크플로우 예시를 통해서만 확인할 수 있습니다.
대체 방안 마련도 그만큼 중요합니다. 가장 안정적인 API도 때때로 동작이 바뀌거나, 성능이 저하되거나, 중단될 수 있습니다. 항상 백업 모델과 성능이 기준 이하로 떨어질 때 전환하는 정책을 정해두세요. (또는 Botpress처럼 기본 대체 옵션을 제공하는 에이전트 빌더를 사용하는 것도 방법입니다)
Terminal Roast에서는 회계 담당인 Ross가 비용을 계산합니다. 팀은 에이전트가 커피와 페이스트리에 관한 간단한 고객 문의를 지연 없이 처리하길 원합니다. 여러 옵션을 테스트한 끝에, Gemini 2.5 Flash를 선택합니다. 빠르고 저렴하며, 일상적인 고객 대화에 충분한 추론 능력을 제공합니다.
대체 모델로는, 지연 시간이나 오류율이 기준치를 넘으면 자동으로 전환되도록 시스템을 설정합니다. 이 선택은 사용자 경험을 부드럽게 유지하고, 운영 비용도 예측 가능하게 만듭니다.
Ross는 나중에 에이전트가 더 복잡한 작업을 하게 되면 모델 선택을 다시 검토할 수 있다고 언급합니다.
모든 모델 선택은 곧 비즈니스 결정이기도 합니다. 잘못된 선택은 운영 비용을 두 배로 늘리거나, 사용자 경험에 불필요한 지연을 초래할 수 있습니다. 올바른 선택은 원하는 경험에 맞게 성능과 비용의 균형을 맞춥니다.
유연성도 그만큼 중요합니다. 한 모델에만 지나치게 의존하는 구조로 설계하면, 나중에 전환이 어렵습니다. 여러 모델을 지원하는 추상화 계층이나 공급업체를 사용해 변화에 쉽게 대응할 수 있도록 하세요.
이런 유연성 덕분에 시스템이 견고해지고, 한 공급업체의 로드맵이나 가격 정책에 종속되지 않습니다.
실질적인 LLM 전략을 세우려면, 세 가지를 문서화하세요:
- 주요 모델과 그 선택 이유
- 전환을 고려할 성능 및 비용 기준
- 대체 모델과 이를 활성화하는 규칙
이 결정들은 최소 분기마다 다시 검토하세요. LLM 생태계의 변화 속도는 매우 빠르며, 새로운 모델이 더 낮은 비용으로 더 나은 성능을 제공하는 경우가 많습니다. 일회성 설정이 아니라 지속적인 평가로 접근하세요.
Terminal Roast가 속도와 예측 가능성을 성능보다 우선시한 결정 덕분에 첫 배포가 안정적으로 이루어졌습니다. 고객 만족도를 높이고, 비용을 제한하며, 기술적 불안정 없이 실제 데이터를 수집할 수 있습니다.
이런 균형—적합한 모델 선택, 변화에 대한 대비, 유연성 확보—이 실험적 프로젝트와 실제 운영 프로젝트를 구분 짓습니다.
LLM 전략은 항상 비즈니스 목표를 지원해야 하며, 그 목표를 제한해서는 안 됩니다.
실행: 사용할 모델, 사용 사례에서 가장 중요한 요소(속도, 비용, 깊이), 그리고 대체 옵션을 적어보세요. 사용 데이터를 수집하면서 이 선택들을 정기적으로 검토하세요.
