代幣估算器

文字：「哈囉，世界！」
模型："gpt-3.5-turbo"

結果：
- tokenCount：4
- tokenizerName："tiktoken"
- model："gpt-3.5-turbo"

文字：「這是一段較長的文字，可能會超過我們的安全限制......」
型號："gpt-3.5-turbo"
安全限制: 10

結果：
- tokenCount：15
- tokenizerName："tiktoken"
- model："gpt-3.5-turbo"
- limitExceeded: true

  # Tiktoken 估算器整合

使用 tiktoken 函式庫估算文字的 token 數量，為OpenAI 模型提供精確的 token 計數。

## 功能

- ** 精確的代幣計數**：使用官方的 tiktoken 函式庫提供精確的代幣估算。
- 支援多種模型**：支援多種OpenAI 模型 (gpt-3.5-turbo, gpt-4, 等等)。
- **安全限制**：可選擇安全限制檢查，以防止代幣超額
- ** 零設定**：無需設定 - 開箱即可使用
- 錯誤處理**：具有描述性訊息的優雅錯誤處理

## 使用方式

### 估計代幣動作

整合提供單一動作： `estimateTokens`.

**輸入參數：**
- `text` (必填)：要估算的文字
- model`（可選）：標記化要使用的OpenAI 模型 (預設為 "gpt-3.5-turbo")
- `safetyLimit` (選用)：令牌數量估計的安全限制。如果留空，則不會應用任何限制

**輸出：**
- tokenCount`：文字中的標記估計數量
- `tokenizerName`：使用的標記器名稱
- `model`：標記化所依據的模型
- `limitExceeded`：表示估計的標記數量是否超過安全限制 (僅在提供 safetyLimit 時出現)

### 使用範例

**基本用法：**
```
文字：「哈囉，世界！」
模型："gpt-3.5-turbo"

結果：
- tokenCount：4
- tokenizerName："tiktoken"
- model："gpt-3.5-turbo"
```

**具有安全限制：**
```
文字：「這是一段較長的文字，可能會超過我們的安全限制......」
型號："gpt-3.5-turbo"
安全限制: 10

結果：
- tokenCount：15
- tokenizerName："tiktoken"
- model："gpt-3.5-turbo"
- limitExceeded: true
```

## 支援的機型

- gpt-3.5-turbo
- `gpt-4
- `gpt-4-turbo
- text-davinci-003
- 文字-davinci-002
- code-davinci-002
- 以及 tiktoken 支援的其他OpenAI 模型

## 建議安全限制

設定安全限制時，請考慮您的實際 API 呼叫將包含系統提示、對話歷史和回應產生的額外權標。以下是保守的建議：

###GPT.5-Turbo (4,096 代碼限制)
- **保守**：2,500 個備份 (剩餘 ~1,600 個備份用於系統提示 + 回應)
- 中度**：3,000 個備份 (剩餘 ~1,100 個備份用於系統提示 + 回應)
- **進步**：3,500 代幣（留下 ~600 用於系統提示 + 回應）

###GPT（8,192 個符記限制）
- 保守**：5,000 個符記 (剩餘 ~3,200 個符記用於系統提示 + 回應)
- ** 中等**：6,000 個符記 (留下 ~2,200 個符記供系統提示 + 回應使用)
- **進步**：7,000 代幣 (留下 ~1,200 用於系統提示 + 回應)

###GPT Turbo (128,000 令牌限制)
- 保守**：100,000 個備份 (剩餘 ~28,000 個備份用於系統提示 + 回應)
- ** 中等**：110,000 個備份 (剩餘 ~18,000 個備份用於系統提示 + 回應)
- **進步**：120,000 代幣（剩餘 ~8,000 用於系統提示 + 回應）

**註**：這些建議假設典型的系統提示大小 (200-800 個字元) 和所需的回應長度 (500-2,000 個字元)。請根據您的特定使用情況進行調整。

## 錯誤處理

整合會處理各種錯誤情況：

- ** 無效輸入**：對於遺失或無效的文字，會傳回清楚的錯誤訊息
- **空文字**：對於空字串，回傳 0 符記
- 不支援的模型**：對於 tiktoken 不支援的模型，會傳回錯誤訊息。
- **Tokenization Errors**：優雅地處理 tiktoken 函式庫錯誤
- 安全限制警告**：令牌數量超過安全限制時會記錄警告

## 優點

- ** 成本優化**：在進行 API 呼叫之前，先估算令牌成本
- 速率限制**：管理代幣預算並使用安全限制防止超額
- 工作流程邏輯**：根據代用幣數量和安全臨界值啟用條件邏輯
- 透明度**：提供代幣使用模式的可見性
- 主動監控**：設定安全限制，及早偵測可能的代幣超額情況