AI 지출 비용을 최적화하는 방법 Botpress

팁 1: 적합한 AI 모델 선택

AI 모델 선택은 비용에 큰 영향을 미칩니다. GPT -4 터보보다 GPT-3.5 터보가 더 빠르고 저렴하므로 고급 버전으로의 업그레이드를 고려하기 전에 GPT-3.5 터보로 설정을 철저히 테스트할 것을 권장합니다. 

KB 에이전트 하이브리드 모드는 처음에는 GPT-3.5 Turbo를 사용하여 쿼리에 대한 응답을 시도하고 필요한 경우에만 GPT-4 Turbo로 에스컬레이션하기 때문에 훌륭한 중간 지점을 제공합니다.

팁 2: KB 보호

기록 찾기 카드를 사용하여 AI나 스마트 답변이 필요하지 않은 불필요한 일반 FAQ로부터 KB를 보호함으로써 AI 지출을 줄일 수 있습니다. 사용자가 일반적으로 한 가지 질문을 하고 그에 대한 답변이 잘 알려진 50개의 질문이 있다면, 이를 테이블에 추가하고 기록 찾기 카드를 사용하여 해당 테이블을 쿼리할 수 있습니다. 답을 찾지 못하면 그때만 KB를 찾아볼 수 있습니다.

팁 3: 적절한 KB 범위 설정하기

정보의 유형과 KB에 추가하려는 정보의 양에 따라 일반적으로 두 가지를 병행하여 AI 지출 비용을 절감하는 것이 가장 좋습니다. 첫째, 각 KB를 특정 제품/기능/주제로 한정하여 정보를 더 작은 KB로 구성합니다. 둘째, 여러 개의 질문이 포함된 워크플로우를 통해 사용자가 특정 KB로 검색 범위를 좁히도록 유도하면 비용을 절감할 수 있을 뿐만 아니라 더 나은 결과를 얻을 수 있습니다.

팁 4: 웹사이트 KB 데이터 소스 대 웹 KB 데이터 소스 검색

웹사이트를 KB 데이터 소스로 사용하지만 봇에 실시간으로 반영해야 하는 웹사이트의 지속적인 변경 사항이 없는 경우에는 웹사이트 KB 데이터 소스 대신 웹 검색을 KB 데이터 소스로 사용하는 것이 비용 효율적인 대안이 될 수 있습니다. 이러한 전환을 하기 전에 이러한 전환으로 인해 예상되는 질문에 대한 성능이 저하되지 않는지 테스트하세요.

팁 5: 레코드 찾기 또는 코드 실행 카드로 테이블 쿼리하기

쿼리하려는 데이터가 있는 테이블이 있는 경우, KB의 테이블을 사용하는 대신 레코드 찾기 카드를 사용하는 것이 좋습니다. 기술적 전문 지식이 있는 경우, 코드를 실행하는 것이 훨씬 더 비용 효율적인 테이블 쿼리 방법이 될 수 있습니다. 코드 실행 카드에서 직접 테이블을 쿼리하고 나중에 참조할 수 있는 워크플로 변수에 출력을 저장하면 됩니다.

팁 6 : 청크 제어

청크란 답변을 생성하기 위해 기술 자료에서 검색되는 청크의 수를 나타냅니다. 일반적으로 검색된 청크가 많을수록 답이 더 정확하지만 AI 토큰을 생성하는 데 시간이 더 오래 걸리고 더 많은 비용이 듭니다. 청크 크기를 실험하여 정확한 응답으로 이어지는 가장 낮은 양을 설정합니다.

더 스마트한 메시지 대체

봇이 동일한 쿼리에 대해 매번 다른 AI 응답을 보내도록 하려면 캐싱을 방지해야 합니다(방법을 알아보려면 부록 참조). 대화 환경의 개선으로 인해 AI 지출의 증가가 정당화될 수 있는 시나리오도 있습니다. 하지만 항상 그런 것은 아닙니다.

LLMs 으로 생성되는 간단한 인사말과 같은 것을 생각해 보세요. 각 인사말마다 추가 AI 지출 비용이 발생합니다. 그만한 가치가 있을까요? 아마 아닐 겁니다. 다행히도 여러 응답이 포함된 배열과 간단한 함수를 사용하여 값을 임의로 가져와 표시하는 비용 효율적인 해결 방법이 있습니다. 

대화량에 따라 이 방법을 구현하여 절약할 수 있는 금액은 그만한 가치가 있습니다.

대체 메시지를 구현하는 방법에 대한 자세한 내용은 여기에서 확인할 수 있습니다.

간단한 작업을 위한 코드 실행

데이터 서식 변경이나 구조화된 데이터에서 정보 추출과 같은 간단한 작업의 경우, 코드 실행 카드를 사용하는 것이 LLM 에 의존하는 것보다 더 효율적이고 저렴하며 빠를 수 있습니다.

요약 에이전트의 대안

코드 실행 카드를 사용하여 자신만의 스크립트를 만들 수 있습니다. 사용자 및 봇의 메시지를 추적하고 싶은 곳에 코드 실행 카드를 배열 변수에 배치합니다. 그런 다음 해당 배열을 사용하여 KB에 컨텍스트로 제공할 수 있습니다.

적합한 AI 모델 선택 

예, 올바른 AI 모델을 선택하는 것은 두 번 언급할 가치가 있을 정도로 중요합니다. KB와 마찬가지로 AI 작업의 경우 AI 모델 선택이 비용에 큰 영향을 미칩니다. GPT -3.5 Turbo를 선택하면 지침이 덜 복잡합니다. 고급 버전으로의 업그레이드를 고려하기 전에 이 모델로 설정을 철저히 테스트하세요. GPT -4 Turbo는 GPT-3.5 Turbo보다 20배 더 비싸다는 점을 기억하세요. 결과가 크게 개선되지 않는 한 GPT-3.5 Turbo를 선택하세요.

위의 내용 외에도 각 AI 태스크 실행에서 소비되는 토큰 수를 줄여 AI 지출을 절약할 수 있습니다.

이 숫자를 줄이면 추가 토큰이 잘릴 수 있으므로 의식하는 것이 좋습니다. 예를 들어 길이를 2000개의 토큰으로 제한하고 프롬프트와 출력이 2000개 이상인 경우 그에 따라 입력이 잘립니다.

AI 작업 대 AI 텍스트 생성

간단한 텍스트 출력의 경우, AI 텍스트 생성 카드는 AI 작업 카드보다 더 적은 토큰을 사용하고 설정하기 쉽습니다. 정보 구문 분석이 필요한 작업의 경우, AI 작업 카드가 AI 텍스트 생성 카드보다 성능이 뛰어납니다. 

따라서 AI를 사용하여 정보를 처리하려는 경우(예: 사용자의 의도를 감지하거나 AI가 입력을 분석하도록 하려는 경우)에는 AI 작업 카드를 사용하는 것이 좋습니다. 그러나 AI를 활용하여 텍스트를 생성하려는 경우에는 AI 텍스트 생성 카드를 대신 사용하세요(예: KB 답변을 가져와 확장하거나 질문을 창의적으로 생성하려는 경우).

AI 작업 카드와 AI 텍스트 생성 카드의 차이점에 대해 자세히 알아보려면 여기에서 자세히 알아보세요.

번역

봇이 많은 양의 다국어 대화를 처리해야 하는 경우 보다 비용 효율적인 옵션을 위해 외부 번역 서비스와 후크를 통합하는 것을 고려하세요.

후크에 대한 자세한 내용은 여기에서 확인할 수 있습니다.