Botpress에서 AI 비용 최적화하는 방법

많은 기업들이 AI 기술의 잠재력을 활용하면서도 과도한 지출을 피하는 데 어려움을 겪고 있습니다. 저희는 이 균형의 중요성을 이해하며, 사용자가 비용 효율적으로 AI를 활용할 수 있도록 솔루션을 제공하는 데 전념하고 있습니다.

AI 비용에 대한 우리의 접근 방식

먼저, AI 기능의 이점을 제공하면서도 사용자의 AI 관련 비용을 줄이는 두 가지 핵심 요소를 이해하는 것이 중요합니다.

투명한 가격 정책: 숨겨진 요금 없음

AI 관련 작업에 추가 마진을 붙이지 않습니다. 즉, AI 비용은 실제 사용량에만 직접적으로 연동되며, 추가 AI 요금이 발생하지 않습니다.

AI 응답 캐싱

캐싱은 봇의 AI 비용을 줄이는 데 가장 효과적인 전략 중 하나입니다. AI 응답을 캐싱하면 LLM 제공자에게 보내는 요청 수가 줄어들어 쿼리 비용을 약 30% 절감할 수 있으며, 사용자와의 상호작용 품질도 유지할 수 있습니다.

AI 비용 최적화 팁

이제 저희가 AI 비용을 낮추기 위해 사용하는 두 가지 접근법을 살펴봤으니, 여러분이 봇을 구축할 때 추가로 AI 비용을 절감할 수 있는 팁을 소개합니다.

지식 베이스 최적화하기

지식 베이스(KB)를 최적화하면 AI 비용에 큰 영향을 줄 수 있습니다. KB는 일반적으로 Botpress 프로젝트에서 가장 큰 AI 비용 요인입니다.

팁 1: 적절한 AI 모델 선택하기

AI 모델 선택은 비용에 큰 영향을 미칩니다. GPT-3.5 Turbo는 GPT-4 Turbo보다 빠르고 저렴하므로, 더 고급 버전으로 업그레이드하기 전에 반드시 GPT-3.5 Turbo로 충분히 테스트해보시길 권장합니다.

KB Agent 하이브리드 모드는 우선적으로 GPT-3.5 Turbo로 쿼리에 응답을 시도하고, 필요할 때만 GPT-4 Turbo로 전환하므로 비용과 품질의 균형을 잘 맞출 수 있습니다.

팁 2: KB 보호하기

Find Records 카드를 활용해 AI나 스마트 응답이 필요 없는 일반적인 FAQ를 KB에서 분리하면 AI 비용을 줄일 수 있습니다. 예를 들어, 자주 묻는 50개의 질문과 답변이 있다면, 이들을 테이블에 저장하고 Find Records 카드로 조회할 수 있습니다. 답변이 없을 때만 KB를 검색하도록 하면 됩니다.

팁 3: KB 범위 명확히 설정하기

KB에 추가할 정보의 유형과 양에 따라, AI 비용을 줄이기 위해 두 가지를 병행하는 것이 좋습니다. 첫째, 정보를 제품/기능/주제별로 작은 KB로 나누어 관리하세요. 둘째, 여러 질문을 통해 사용자를 특정 KB로 유도하는 워크플로우를 설계하세요. 이렇게 하면 비용도 줄이고, 더 나은 결과를 얻을 수 있습니다.

팁 4: Website KB 데이터 소스 vs Search the Web KB 데이터 소스

웹사이트를 KB 데이터 소스로 사용하지만, 실시간으로 반영해야 할 변경이 자주 없다면 Website KB 대신 Search The Web을 KB 데이터 소스로 활용하는 것이 더 비용 효율적일 수 있습니다. 전환 전에는 예상 질문에 대한 성능이 저하되지 않는지 반드시 테스트하세요.

팁 5: Find Records 또는 Execute Code 카드로 테이블 쿼리하기

조회할 데이터가 테이블에 있다면, KB에서 테이블을 사용하는 대신 Find Records 카드를 활용해보세요. 기술적 역량이 있다면, Execute Code 카드를 사용해 직접 테이블을 쿼리하고 결과를 워크플로우 변수에 저장하는 것이 더 비용 효율적일 수 있습니다.

팁 6: 청크(Chunks) 수 조절하기

여기서 청크란, 답변을 생성하기 위해 지식 베이스에서 가져오는 정보 조각의 수를 의미합니다. 일반적으로 더 많은 청크를 가져올수록 답변이 정확해지지만, 처리 시간과 AI 토큰 비용이 증가합니다. 실험을 통해 최소한의 청크 수로도 정확한 답변이 나오는 최적의 값을 찾아보세요.

Execute Code 카드로 AI 비용 절감하기

Execute Code 카드는 일부 AI 카드의 비용 효율적인 대안이 될 수 있습니다. 다음과 같은 상황에서 활용을 고려해보세요.

더 스마트한 메시지 대안

같은 질문에 매번 다른 AI 응답을 원한다면 캐싱을 방지해야 합니다(방법은 부록 참고). 대화 경험이 크게 향상되는 경우라면 AI 비용 증가가 정당화될 수 있지만, 항상 그런 것은 아닙니다.

LLM으로 생성된 간단한 인사말 같은 것을 생각해 보세요. 인사말 하나마다 추가 AI Spend 비용이 발생합니다. 그럴 가치가 있을까요? 아마 아닐 것입니다. 다행히 비용 효율적인 우회 방법이 있습니다. 여러 응답을 배열에 저장하고, 간단한 함수로 무작위로 값을 선택해 보여주면 됩니다.

대화량에 따라 이 방법을 적용해 절감하는 비용이 충분히 노력할 만한 가치가 있을 수 있습니다.

대체 메시지 구현 방법은 여기에서 자세히 확인할 수 있습니다.

간단한 작업에 코드 실행 활용하기

데이터 재구성이나 구조화된 데이터에서 정보 추출 등 간단한 작업에는 LLM 대신 Execute Code 카드를 사용하는 것이 더 효율적이고 저렴하며 빠를 수 있습니다.

Summary Agent 대안

Execute Code 카드를 활용해 자체 대화 기록을 만들 수 있습니다. 사용자의 메시지와 봇의 메시지를 배열 변수에 저장하고, 이후 이 배열을 KB에 컨텍스트로 제공할 수 있습니다.

가능하면 단순화하기

동일한 목표를 달성할 수 있다면, 사용자 경험을 해치지 않는 가장 단순한 상호작용 방식을 선택하세요. 예를 들어, 사용자 피드백을 수집할 때 AI를 활용하는 것보다 별점과 코멘트로 구성된 간단한 시스템이 더 비용 효율적입니다.

AI Tasks, AI Generate Text, 번역 관련 팁

적절한 AI 모델 선택하기

AI 모델 선택이 매우 중요하므로 다시 한 번 강조합니다. KB와 마찬가지로, AI Tasks에서도 모델 선택이 비용에 큰 영향을 미칩니다. 복잡하지 않은 지시에는 GPT-3.5 Turbo를 사용하세요. 더 고급 버전으로 업그레이드하기 전에 반드시 이 모델로 충분히 테스트해보세요. 참고로, GPT-4 Turbo는 GPT-3.5 Turbo보다 20배 비쌉니다. 결과가 현저히 더 좋지 않다면 GPT-3.5 Turbo를 선택하세요.

이와 더불어, 각 AI Task 실행 시 소비되는 토큰 수를 줄이면 AI 비용을 절감할 수 있습니다.

이 수치를 줄이면 추가 토큰이 잘릴 수 있으니 유의하세요. 예를 들어, 길이를 2000 토큰으로 제한하면 프롬프트와 출력이 2000 토큰을 넘을 경우 입력이 잘려서 처리됩니다.

AI Task vs AI Generate Text

간단한 텍스트 출력에는 AI Generate Text 카드가 AI Task 카드보다 적은 토큰을 사용하고 설정도 더 쉽습니다. 정보 파싱이 필요한 작업에는 AI Task 카드가 더 뛰어난 성능을 보입니다.

따라서, 정보를 처리하고자 할 때는 AI Task 카드를, 텍스트 생성이 목적이라면 AI Generate Text 카드를 사용하는 것이 좋습니다. 예를 들어, KB 답변을 확장하거나 창의적으로 질문을 생성하고 싶을 때는 AI Generate Text 카드를 활용하세요.

AI Task 카드와 AI Generate Text 카드의 차이점에 대해 더 자세히 알고 싶다면 여기에서 확인하세요.

번역

봇이 다국어 대화를 많이 처리해야 한다면, 외부 번역 서비스와 연동되는 훅을 적용해 비용을 절감할 수 있습니다.

훅에 대한 자세한 정보는 여기에서 확인할 수 있습니다.

마무리

이러한 전략과 팁을 활용하면 Botpress에서 AI 비용을 최적화할 수 있습니다. 다양한 작업의 비용 구조를 이해하고, 목적에 맞는 효율적인 방법을 선택하면 성능 저하 없이 AI 관련 비용을 줄일 수 있습니다.

저희 팀은 다양한 옵션을 안내해 드리며, 가장 효율적인 비용으로 사용자에게 최고의 경험을 제공할 수 있도록 도와드립니다. 자세한 내용은 요금 안내 페이지를 방문하거나, 도움이 필요하시면 Discord 서버를 방문해 주세요.

부록

캐싱 방지 방법

항상 최신 결과를 얻기 위해 캐싱을 우회하고 싶다면 다음 중 하나를 선택하세요:

• 영구적으로 캐싱을 방지하려면 모든 AI 관련 카드(예: AI Task 프롬프트, KB 컨텍스트 등)에 `And discard:{{Date.now()}}`를 추가하세요.
• 임시로 캐싱을 방지하려면 봇을 배포한 후 시크릿 모드 창에서 테스트하세요.

추천 강의

• ‍ChatGPT 프롬프트 엔지니어링 for Developers (제목에는 개발자를 위한 강의라고 되어 있지만, 비개발자에게도 도움이 됩니다!)
• ‍ChatGPT API로 시스템 구축하기