# Tiktoken 估算器整合 使用 tiktoken 函式庫估算文字的 token 數量，為OpenAI 模型提供精確的 token 計數。 ## 功能 - ** 精確的代幣計數**：使用官方的 tiktoken 函式庫提供精確的代幣估算。 - 支援多種模型**：支援多種OpenAI 模型 (gpt-3.5-turbo, gpt-4, 等等)。 - **安全限制**：可選擇安全限制檢查，以防止代幣超額 - ** 零設定**：無需設定 - 開箱即可使用 - 錯誤處理**：具有描述性訊息的優雅錯誤處理 ## 使用方式 ### 估計代幣動作 整合提供單一動作： `estimateTokens`. **輸入參數：** - `text` (必填)：要估算的文字 - model`（可選）：標記化要使用的OpenAI 模型 (預設為 "gpt-3.5-turbo") - `safetyLimit` (選用)：令牌數量估計的安全限制。如果留空，則不會應用任何限制 **輸出：** - tokenCount`：文字中的標記估計數量 - `tokenizerName`：使用的標記器名稱 - `model`：標記化所依據的模型 - `limitExceeded`：表示估計的標記數量是否超過安全限制 (僅在提供 safetyLimit 時出現) ### 使用範例 **基本用法：** ``` 文字：「哈囉，世界！」 模型："gpt-3.5-turbo" 結果： - tokenCount：4 - tokenizerName："tiktoken" - model："gpt-3.5-turbo" ``` **具有安全限制：** ``` 文字：「這是一段較長的文字，可能會超過我們的安全限制......」 型號："gpt-3.5-turbo" 安全限制: 10 結果： - tokenCount：15 - tokenizerName："tiktoken" - model："gpt-3.5-turbo" - limitExceeded: true ``` ## 支援的機型 - gpt-3.5-turbo - `gpt-4 - `gpt-4-turbo - text-davinci-003 - 文字-davinci-002 - code-davinci-002 - 以及 tiktoken 支援的其他OpenAI 模型 ## 建議安全限制 設定安全限制時，請考慮您的實際 API 呼叫將包含系統提示、對話歷史和回應產生的額外權標。以下是保守的建議： ###GPT.5-Turbo (4,096 代碼限制) - **保守**：2,500 個備份 (剩餘 ~1,600 個備份用於系統提示 + 回應) - 中度**：3,000 個備份 (剩餘 ~1,100 個備份用於系統提示 + 回應) - **進步**：3,500 代幣（留下 ~600 用於系統提示 + 回應） ###GPT（8,192 個符記限制） - 保守**：5,000 個符記 (剩餘 ~3,200 個符記用於系統提示 + 回應) - ** 中等**：6,000 個符記 (留下 ~2,200 個符記供系統提示 + 回應使用) - **進步**：7,000 代幣 (留下 ~1,200 用於系統提示 + 回應) ###GPT Turbo (128,000 令牌限制) - 保守**：100,000 個備份 (剩餘 ~28,000 個備份用於系統提示 + 回應) - ** 中等**：110,000 個備份 (剩餘 ~18,000 個備份用於系統提示 + 回應) - **進步**：120,000 代幣（剩餘 ~8,000 用於系統提示 + 回應） **註**：這些建議假設典型的系統提示大小 (200-800 個字元) 和所需的回應長度 (500-2,000 個字元)。請根據您的特定使用情況進行調整。 ## 錯誤處理 整合會處理各種錯誤情況： - ** 無效輸入**：對於遺失或無效的文字，會傳回清楚的錯誤訊息 - **空文字**：對於空字串，回傳 0 符記 - 不支援的模型**：對於 tiktoken 不支援的模型，會傳回錯誤訊息。 - **Tokenization Errors**：優雅地處理 tiktoken 函式庫錯誤 - 安全限制警告**：令牌數量超過安全限制時會記錄警告 ## 優點 - ** 成本優化**：在進行 API 呼叫之前，先估算令牌成本 - 速率限制**：管理代幣預算並使用安全限制防止超額 - 工作流程邏輯**：根據代用幣數量和安全臨界值啟用條件邏輯 - 透明度**：提供代幣使用模式的可見性 - 主動監控**：設定安全限制，及早偵測可能的代幣超額情況
