LLM 排名 | 不同机型在Botpress 上的表现如何？

过去 90 天的数据

模型秒数

计数

每秒平均输出队列数

平均成本

常见问题

什么是请求？

请求是指从Botpress 发送给大型语言模型 (LLM) 的单次交互。它包括输入数据、配置参数以及模型处理请求和返回响应所需的任何相关上下文。每个请求代表对LLM 的一次调用，如生成文本、回答问题或执行其他任务。

上图中的数据显示了用户从Botpress 查询到的LLMs 的单个请求数量。

速度指的是什么？

‍速度指LLM 处理请求时每秒产生的平均标记数。标记是模型读取或生成的文本单位，如单词或单词的一部分。这一测量值反映了模型的输出性能，表明它返回响应的速度有多快。

上图中的数据显示了从Botpress 查询时模型每秒生成的标记总数的平均值。

成本指的是什么？

成本是指处理 1000 个向特定LLM 发送的请求的平均价格（以美元dollars 计），Botpress 。该指标有助于展示使用不同模型的相对费用，从而深入了解它们在处理大量请求时的成本效率。

一次对话可能包含多个请求。您可以使用上述图表中的数据，根据对话的性质大致估算每月的人工智能支出。

本页面上的数据多久更新一次？

Botpress 虽然LLM 的使用信息是实时收集的，但本页面上的图表每 48 小时更新一次。