이번 강의에서
AI 사용량은 봇이 대형 언어 모델(LLM)을 사용할 때 할당되는 예산을 의미합니다. 이는 응답 생성이나 자연어 입력 처리와 같은 작업에 사용됩니다. 봇이 AI를 사용하는 각 작업은 토큰을 소모하며, 이 토큰에는 모델 제공업체가 정한 비용이 부과됩니다.
Botpress는 이러한 비용을 별도의 추가 요금 없이 그대로 전달하므로, 모델 제공업체와 직접 거래할 때와 동일한 토큰 수에 대해 동일한 가격을 적용받게 됩니다.
원활한 봇 개발과 프로토타이핑을 시작할 수 있도록 매월 $5의 AI 사용료 무료 크레딧을 제공합니다. 이 크레딧을 초과하면 서비스가 중단되지 않도록 AI 사용 한도를 늘려야 합니다. 워크스페이스 대시보드에서 AI 사용 한도를 조정할 수 있습니다. 현재 종량제 요금제의 AI 사용 한도는 최대 $100까지 설정할 수 있으며, 그 이상이 필요하신 경우 웹사이트를 통해 문의해 주세요.
AI 사용량을 모니터링하는 것은 예산을 효율적으로 관리하고 봇이 할당된 자원 내에서 운영되도록 하는 데 중요합니다. 봇을 개발할 때 이벤트 디버거에서 작업별 토큰 사용량에 대한 자세한 정보를 확인할 수 있습니다. 봇이 운영 중일 때는 운영 로그를 통해 토큰 사용 현황을 더 잘 파악할 수 있습니다. 또한, 봇의 분석 탭에서는 LLM 성능, 비용, 토큰 사용량에 대한 상세 정보를 제공합니다.
요약
AI 사용량은 LLM 기반 작업에서 토큰 사용량을 관리하고 추적하는 데 사용됩니다.
이 과정의 모든 강의
