AI 지출 비용을 최적화하는 방법 Botpress

많은 기업이 과도한 지출 없이 AI 기술의 잠재력을 활용해야 하는 과제에 직면해 있습니다. 유니티는 이러한 균형의 중요성을 잘 알고 있으며, 사용자가 비용 효율적으로 AI를 활용할 수 있는 솔루션을 제공하기 위해 최선을 다하고 있습니다.

AI 비용에 대한 접근 방식

첫째, AI 기능의 이점을 제공하면서 사용자의 AI 관련 비용을 절감하는 방법에는 두 가지 중요한 요소가 있다는 점을 이해하는 것이 중요합니다.

투명한 가격: 숨겨진 수수료 없음

저희는 AI 관련 작업에 어떠한 마진도 추가하지 않습니다. 즉, AI 지출 비용은 유니티 측의 추가 AI 수수료 없이 실제 사용량과 직접적으로 관련이 있습니다. AI 지출 계산기를 사용하여 잠재적인 AI 지출을 추정할 수 있습니다.

AI 응답 캐싱

캐싱은 봇의 AI 비용을 절감할 수 있는 가장 효과적인 전략 중 하나입니다. AI 응답을 캐싱하면 LLM 제공업체에 대한 요청 횟수를 줄여 쿼리 비용을 약 30% 절감할 수 있어 봇과 사용자의 상호 작용 품질에 영향을 주지 않으면서 비용을 절감할 수 있습니다.

AI 비용 최적화를 위한 팁

이제 사용자의 AI 지출을 낮추기 위한 두 가지 접근 방식을 살펴봤으니 봇을 구축할 때 AI 비용을 더욱 낮추기 위해 사용할 수 있는 팁을 살펴보겠습니다.

지식창고 최적화

지식 기반(KB)을 최적화하는 것은 일반적으로 Botpress 프로젝트에서 가장 큰 AI 비용 동인이므로 AI 지출에 큰 영향을 미칠 수 있습니다.

팁 1: 적합한 AI 모델 선택

AI 모델 선택은 비용에 큰 영향을 미칩니다. GPT-3.5 터보는 GPT-4 터보보다 빠르고 저렴하므로 고급 버전으로의 업그레이드를 고려하기 전에 GPT-3.5 터보로 설정을 철저히 테스트하는 것이 좋습니다. 

KB 에이전트 하이브리드 모드는 쿼리에 대한 응답을 시도할 때 처음에는 GPT-3.5 Turbo를 사용하고 필요한 경우에만 GPT-4 Turbo로 에스컬레이션하기 때문에 훌륭한 중간 지점을 제공합니다.

팁 2: KB 보호

기록 찾기 카드를 사용하여 AI나 스마트 답변이 필요하지 않은 불필요한 일반 FAQ로부터 KB를 보호함으로써 AI 지출을 줄일 수 있습니다. 사용자가 일반적으로 한 가지 질문을 하고 그에 대한 답변이 잘 알려진 50개의 질문이 있다면, 이를 테이블에 추가하고 기록 찾기 카드를 사용하여 해당 테이블을 쿼리할 수 있습니다. 답을 찾지 못하면 그때만 KB를 찾아볼 수 있습니다.

팁 3: 적절한 KB 범위 설정하기

정보의 유형과 KB에 추가하려는 정보의 양에 따라 일반적으로 두 가지를 병행하여 AI 지출 비용을 절감하는 것이 가장 좋습니다. 첫째, 각 KB를 특정 제품/기능/주제로 한정하여 정보를 더 작은 KB로 구성합니다. 둘째, 여러 개의 질문이 포함된 워크플로우를 통해 사용자가 특정 KB로 검색 범위를 좁히도록 유도하면 비용을 절감할 수 있을 뿐만 아니라 더 나은 결과를 얻을 수 있습니다.

팁 4: 웹사이트 KB 데이터 소스 대 웹 KB 데이터 소스 검색

웹사이트를 KB 데이터 소스로 사용하지만 봇에 실시간으로 반영해야 하는 웹사이트의 지속적인 변경 사항이 없는 경우에는 웹사이트 KB 데이터 소스 대신 웹 검색을 KB 데이터 소스로 사용하는 것이 비용 효율적인 대안이 될 수 있습니다. 이러한 전환을 하기 전에 이러한 전환으로 인해 예상되는 질문에 대한 성능이 저하되지 않는지 테스트하세요.

팁 5: 레코드 찾기 또는 코드 실행 카드로 테이블 쿼리하기

쿼리하려는 데이터가 있는 테이블이 있는 경우, KB의 테이블을 사용하는 대신 레코드 찾기 카드를 사용하는 것이 좋습니다. 기술적 전문 지식이 있는 경우, 코드를 실행하는 것이 훨씬 더 비용 효율적인 테이블 쿼리 방법이 될 수 있습니다. 코드 실행 카드에서 직접 테이블을 쿼리하고 나중에 참조할 수 있는 워크플로 변수에 출력을 저장하면 됩니다.

팁 6 : 청크 제어

청크란 답변을 생성하기 위해 기술 자료에서 검색되는 청크의 수를 나타냅니다. 일반적으로 검색된 청크가 많을수록 답이 더 정확하지만 AI 토큰을 생성하는 데 시간이 더 오래 걸리고 더 많은 비용이 듭니다. 청크 크기를 실험하여 정확한 응답으로 이어지는 가장 낮은 양을 설정합니다.

코드 실행 카드를 사용하여 AI 지출 비용 절감

코드 실행 카드는 일부 AI 카드를 비용 효율적으로 대체할 수 있는 적절한 대안이 될 수 있습니다. 다음은 이 카드의 사용을 고려할 수 있는 몇 가지 시나리오입니다:

더 스마트한 메시지 대체

봇이 동일한 쿼리에 대해 매번 다른 AI 응답을 보내도록 하려면 캐싱을 방지해야 합니다(방법을 알아보려면 부록 참조). 대화 환경의 개선으로 인해 AI 지출의 증가가 정당화될 수 있는 시나리오도 있습니다. 하지만 항상 그런 것은 아닙니다.

LLM으로 생성되는 간단한 인사말 같은 것을 생각해 보세요. 인사말을 할 때마다 AI 지출 비용이 추가로 발생합니다. 그만한 가치가 있을까요? 아마 아닐 겁니다. 다행히도 여러 개의 응답이 있는 배열과 값을 무작위로 가져와 표시하는 간단한 함수를 사용하는 비용 효율적인 해결 방법이 있습니다. 

대화량에 따라 이 방법을 구현하여 절약할 수 있는 금액은 그만한 가치가 있습니다.

대체 메시지를 구현하는 방법에 대한 자세한 내용은 여기에서 확인할 수 있습니다.

간단한 작업을 위한 코드 실행

데이터 서식 변경이나 구조화된 데이터에서 정보 추출과 같은 간단한 작업의 경우, 코드 실행 카드를 사용하는 것이 LLM 에 의존하는 것보다 더 효율적이고 저렴하며 빠를 수 있습니다.

요약 에이전트의 대안

코드 실행 카드를 사용하여 자신만의 스크립트를 만들 수 있습니다. 사용자 및 봇의 메시지를 추적하고 싶은 곳에 코드 실행 카드를 배열 변수에 배치합니다. 그런 다음 해당 배열을 사용하여 KB에 컨텍스트로 제공할 수 있습니다.

가능하면 간소화

사용자 경험을 저하시키지 않으면서 동일한 목표를 달성할 수 있는 더 간단한 상호작용 방법을 선택하세요. 예를 들어 사용자 피드백을 수집하는 데 관심이 있다면 댓글이 포함된 간단한 별점 평가 시스템이 AI를 사용하여 동일한 정보를 수집하는 것보다 더 비용 효율적입니다.

AI 작업, AI 텍스트 생성 및 번역을 위한 팁

적합한 AI 모델 선택 

예, 올바른 AI 모델을 선택하는 것은 두 번 언급할 가치가 있을 정도로 중요합니다. KB와 마찬가지로 AI 작업의 경우 AI 모델 선택이 비용에 큰 영향을 미칩니다. 덜 복잡한 지침을 원한다면 GPT-3.5 터보를 선택하세요. 고급 버전으로의 업그레이드를 고려하기 전에 이 모델로 설정을 철저히 테스트하세요. GPT-4 Turbo는 GPT-3.5 Turbo보다 20배 더 비싸다는 점을 기억하세요. 결과가 현저히 개선되지 않는 한 GPT-3.5 Turbo를 선택하세요.

위의 내용 외에도 각 AI 태스크 실행에서 소비되는 토큰 수를 줄여 AI 지출을 절약할 수 있습니다.

이 숫자를 줄이면 추가 토큰이 잘릴 수 있으므로 의식하는 것이 좋습니다. 예를 들어 길이를 2000개의 토큰으로 제한하고 프롬프트와 출력이 2000개 이상인 경우 그에 따라 입력이 잘립니다.

AI 작업 대 AI 텍스트 생성

간단한 텍스트 출력의 경우, AI 텍스트 생성 카드는 AI 작업 카드보다 더 적은 토큰을 사용하고 설정하기 쉽습니다. 정보 구문 분석이 필요한 작업의 경우, AI 작업 카드가 AI 텍스트 생성 카드보다 성능이 뛰어납니다. 

따라서 AI를 사용하여 정보를 처리하려는 경우(예: 사용자의 의도를 감지하거나 AI가 입력을 분석하도록 하려는 경우)에는 AI 작업 카드를 사용하는 것이 좋습니다. 그러나 AI를 활용하여 텍스트를 생성하려는 경우에는 AI 텍스트 생성 카드를 대신 사용하세요(예: KB 답변을 가져와 확장하거나 질문을 창의적으로 생성하려는 경우).

번역

봇이 많은 양의 다국어 대화를 처리해야 하는 경우 보다 비용 효율적인 옵션을 위해 외부 번역 서비스와 후크를 통합하는 것을 고려하세요.

후크에 대한 자세한 내용은 여기에서 확인할 수 있습니다.

결론

이러한 전략과 팁을 통해 Botpress 에서 AI 지출을 최적화할 수 있습니다. 다양한 작업의 비용 영향을 이해하고 필요에 따라 가장 효율적인 방법을 선택하면 성능 저하 없이 AI 관련 비용을 절감할 수 있습니다.

저희 팀이 이러한 옵션을 탐색하고 봇이 가장 효율적인 비용으로 사용자에게 최상의 경험을 제공할 수 있도록 도와드리겠습니다. 자세한 내용은 가격 페이지를 방문하거나 Discord 서버를 방문하여 도움을 받으세요.

부록

캐싱을 방지하는 방법

캐싱을 극복하여 항상 실시간 결과를 얻으려면 다음 옵션 중 하나를 수행하면 됩니다:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• 임시 캐싱 방지: 봇을 게시하고 시크릿 창에서 테스트하세요.

참고: 모든 것이 동일할 때, 이 캐싱 레이어를 제거하고 봇에 다른 변경 사항을 적용하지 않으면 AI 지출 비용이 증가합니다.

추천 코스

• ChatGPT 개발자를 위한 프롬프트 엔지니어링 (제목은 개발자용이지만 개발자가 아닌 분들도 혜택을 받을 수 있습니다!)
• ChatGPT API로 시스템 구축하기