요청은 Botpress 에서 대규모 언어 모델(LLM)로 전송되는 단일 상호 작용을 의미합니다. 여기에는 모델이 요청을 처리하고 응답을 반환하는 데 필요한 입력 데이터, 구성 매개변수 및 관련 컨텍스트가 포함됩니다. 각 요청은 텍스트 생성, 질문에 대한 답변 또는 기타 작업 수행과 같은 LLM 에 대한 하나의 호출을 나타냅니다.
위 차트의 데이터는 사용자가 Botpress 에서 쿼리한 각 LLMs 에 대한 개별 요청의 수를 보여줍니다.
속도는 무엇을 의미하나요?
속도는 요청을 처리할 때 LLM 에서 초당 생성하는 평균 토큰 수를 의미합니다. 토큰은 모델이 읽거나 생성하는 단어 또는 단어의 일부와 같은 텍스트의 단위입니다. 이 측정값은 모델의 출력 성능을 반영하여 모델이 얼마나 빨리 응답을 반환할 수 있는지를 나타냅니다.
위 차트의 데이터는 Botpress 에서 쿼리할 때 모델이 초당 생성하는 총 토큰 수의 평균을 보여줍니다.
비용이란 무엇을 의미하나요?
비용은 Botpress 에서 특정 LLM 으로 1,000건의 요청을 처리하는 데 드는 미국 dollars 의 평균 가격을 의미합니다. 이 메트릭은 다양한 모델 사용의 상대적 비용을 보여줌으로써 대량의 요청을 처리할 때의 비용 효율성에 대한 인사이트를 제공합니다.
단일 대화에는 여러 요청이 포함될 수 있습니다. 위 차트의 데이터를 사용하여 대화의 성격에 따라 월간 AI 지출을 대략적으로 추정할 수 있습니다.
이 페이지의 데이터는 얼마나 자주 업데이트되나요?
Botpress 의 LLM 사용량 정보는 실시간으로 수집되지만, 이 페이지의 차트는 48시간마다 업데이트됩니다.
