Ranking de LLM | Como diferentes modelos se saem no Botpress?

Dados dos últimos 90 dias

model_second

model_first

contagem

media_tokens_saida_por_segundo

$custo_medio

Perguntas frequentes

O que são requisições?

Uma requisição refere-se a uma única interação enviada para um modelo de linguagem grande (LLM) a partir do Botpress. Inclui os dados de entrada, parâmetros de configuração e qualquer contexto relevante necessário para que o modelo processe a requisição e retorne uma resposta. Cada requisição representa uma chamada ao LLM, como gerar texto, responder uma pergunta ou executar outras tarefas.

Os dados nos gráficos acima mostram o número de requisições individuais feitas para cada um dos LLMs consultados por usuários do Botpress.

O que significa velocidade?

‍Velocidade refere-se ao número médio de tokens que um LLM gera por segundo ao processar uma solicitação. Tokens são unidades de texto, como palavras ou partes de palavras, que o modelo lê ou produz. Essa métrica reflete o desempenho de saída do modelo, indicando a rapidez com que ele pode retornar uma resposta.

Os dados nos gráficos acima mostram a média do total de tokens que um modelo gera por segundo quando consultado a partir do Botpress.

O que significa custo?

Custo refere-se ao preço médio em dólares americanos para processar 1.000 requisições para um LLM específico a partir do Botpress. Essa métrica ajuda a demonstrar o custo relativo de uso de diferentes modelos, oferecendo uma visão sobre sua eficiência de custo ao lidar com grandes volumes de requisições.

Uma única conversa pode conter várias requisições. Você pode usar os dados nos gráficos acima para estimar, de acordo com o perfil das suas conversas, o seu gasto mensal com IA.

Com que frequência os dados desta página são atualizados?

Embora as informações sobre o uso de LLM no Botpress sejam coletadas em tempo real, os gráficos desta página são atualizados a cada 48 horas.

Descubra modelos

Perguntas frequentes