トークンエスティメーターの統合

# Tiktoken Estimatorの統合

tiktokenライブラリを使ってテキストのトークン数を推定し、OpenAI モデルの正確なトークンカウントを可能にします。

機能

正確なトークンカウント**：公式の tiktoken ライブラリを使用し、正確なトークン推定を行います。
マルチモデルサポート**：様々なOpenAI モデル（gpt-3.5-turbo、gpt-4 など）をサポートします。
安全制限**：トークンの超過を防ぐためのオプションの安全制限チェック
設定不要**：設定不要 - 箱から出してすぐに動作
エラー処理**：説明的なメッセージによるグレースフルエラー処理

利用方法

トークンの推定アクション

この統合は一つのアクションを提供します: estimateTokens

入力パラメータ:

text` (必須)：トークンを推定するテキスト
model` (オプション)：トークン化に使用するOpenAI モデル (デフォルトは "gpt-3.5-turbo")
safetyLimit`（オプション）：トークン数推定の安全制限。空の場合、リミットは適用されない。

Output:

tokenCount：テキストに含まれるトークンの推定数。
tokenizerName：使用するトークナイザーの名前
モデル`：トークン化が行われたモデル
limitExceeded: トークン化の際に使用されたモデル：トークン数の見積もりがセーフティリミットを超えたかどうかを示す (safetyLimit が指定されている場合のみ表示される)

使用例

基本的な使用法:

テキスト"こんにちは、世界！"
モデル"gpt-3.5-turbo"

結果
- tokenCount：4
- tokenizerName："tiktoken"
- モデル"gpt-3.5-turbo"

安全制限あり：

テキスト"これは安全制限を超える可能性のある長いテキストです..."
モデル"gpt-3.5-turbo"
安全制限: 10

結果
- トークン数15
- tokenizerName："tiktoken"
- モデル"gpt-3.5-turbo"
- limitExceeded: true

対応モデル

gpt-3.5-turbo`
gpt-4
gpt-4-turbo`
テキスト-ダヴィンチ-003
テキスト-ダヴィンチ-002
コード-ダヴィンチ-002
tiktokenがサポートするその他のOpenAI モデル

推奨される安全限界

安全制限を設定する際、実際のAPI呼び出しにはシステムプロンプト、会話履歴、レスポンス生成のための追加トークンが含まれることを考慮してください。以下は保守的な推奨値です：

GPT.5-Turbo (4,096トークン制限)

保守的**：2,500トークン（システム・プロンプト＋応答用に～1,600を残す）
中庸：中程度：3,000トークン（システム・プロンプトと応答用に～1,100を残す）
積極的**：3,500トークン（システムプロンプト＋応答で～600を残す）

GPT(8,192トークン制限)

保守的**：5,000トークン（システムプロンプトと応答用に～3,200を残す）
中程度**：6,000トークン（システム・プロンプト＋応答用に～2,200を残す）
積極的**：7,000トークン（システム・プロンプト＋応答で～1,200を残す）

GPTターボ（128,000トークン制限）

保守的**：100,000トークン（システム・プロンプトと応答用に～28,000を残す）
中程度**：110,000 トークン（システム・プロンプトと応答用に ~18,000 を残す）
積極的**：120,000トークン（システム・プロンプトとレスポンスのために～8,000を残す）

**注：注：これらの推奨は、典型的なシステムプロンプトのサイズ（200～800トークン）と希望する応答の長さ（500～2,000トークン）を想定しています。特定のユースケースに基づいて調整してください。

エラー処理

統合はさまざまなエラーシナリオを処理します：

無効な入力**：入力漏れまたは無効なテキストに対して明確なエラーメッセージを返します。
空のテキスト**：空の文字列に対して 0 トークンを返す
Unsupported Model：tiktoken がサポートしていないモデルに対してはエラーを返します。
トークン化エラー**：tiktoken ライブラリのエラーを優雅に処理します。
Safety Limit Warnings：トークン数が安全限界を超えた場合に警告をログに残す

利点

コストの最適化**：APIコールを行う前にトークンのコストを見積もる
レート制限**：トークンの予算を管理し、安全な制限で超過を防止します。
ワークフローロジックトークン数と安全閾値に基づく条件付きロジックを有効化
透明性**：トークンの使用パターンを可視化します：トークン使用パターンの可視化
プロアクティブモニタリング安全閾値の設定により、トークン超過の可能性を早期に発見

# Tiktoken Estimatorの統合 tiktokenライブラリを使ってテキストのトークン数を推定し、OpenAI モデルの正確なトークンカウントを可能にします。 ## 機能 - 正確なトークンカウント**：公式の tiktoken ライブラリを使用し、正確なトークン推定を行います。 - マルチモデルサポート**：様々なOpenAI モデル（gpt-3.5-turbo、gpt-4 など）をサポートします。 - 安全制限**：トークンの超過を防ぐためのオプションの安全制限チェック - 設定不要**：設定不要 - 箱から出してすぐに動作 - エラー処理**：説明的なメッセージによるグレースフルエラー処理 ## 利用方法 ### トークンの推定アクションこの統合は一つのアクションを提供します: `estimateTokens` **入力パラメータ:** - text` (必須)：トークンを推定するテキスト - model` (オプション)：トークン化に使用するOpenAI モデル (デフォルトは "gpt-3.5-turbo") - safetyLimit`（オプション）：トークン数推定の安全制限。空の場合、リミットは適用されない。 **Output:** - `tokenCount`：テキストに含まれるトークンの推定数。 - `tokenizerName`：使用するトークナイザーの名前 - モデル`：トークン化が行われたモデル - `limitExceeded`: トークン化の際に使用されたモデル：トークン数の見積もりがセーフティリミットを超えたかどうかを示す (safetyLimit が指定されている場合のみ表示される) ### 使用例 **基本的な使用法:** ``` テキスト"こんにちは、世界！" モデル"gpt-3.5-turbo" 結果 - tokenCount：4 - tokenizerName："tiktoken" - モデル"gpt-3.5-turbo" ``` **安全制限あり：** ``` テキスト"これは安全制限を超える可能性のある長いテキストです..." モデル"gpt-3.5-turbo" 安全制限: 10 結果 - トークン数15 - tokenizerName："tiktoken" - モデル"gpt-3.5-turbo" - limitExceeded: true ``` ## 対応モデル - gpt-3.5-turbo` - gpt-4 - gpt-4-turbo` - テキスト-ダヴィンチ-003 - テキスト-ダヴィンチ-002 - コード-ダヴィンチ-002 - tiktokenがサポートするその他のOpenAI モデル ## 推奨される安全限界安全制限を設定する際、実際のAPI呼び出しにはシステムプロンプト、会話履歴、レスポンス生成のための追加トークンが含まれることを考慮してください。以下は保守的な推奨値です： ###GPT.5-Turbo (4,096トークン制限) - 保守的**：2,500トークン（システム・プロンプト＋応答用に～1,600を残す） - 中庸**：中程度**：3,000トークン（システム・プロンプトと応答用に～1,100を残す） - 積極的**：3,500トークン（システムプロンプト＋応答で～600を残す） ###GPT(8,192トークン制限) - 保守的**：5,000トークン（システムプロンプトと応答用に～3,200を残す） - 中程度**：6,000トークン（システム・プロンプト＋応答用に～2,200を残す） - 積極的**：7,000トークン（システム・プロンプト＋応答で～1,200を残す） GPTターボ（128,000トークン制限） - 保守的**：100,000トークン（システム・プロンプトと応答用に～28,000を残す） - 中程度**：110,000 トークン（システム・プロンプトと応答用に ~18,000 を残す） - 積極的**：120,000トークン（システム・プロンプトとレスポンスのために～8,000を残す） **注***：注***：これらの推奨は、典型的なシステムプロンプトのサイズ（200～800トークン）と希望する応答の長さ（500～2,000トークン）を想定しています。特定のユースケースに基づいて調整してください。 ## エラー処理統合はさまざまなエラーシナリオを処理します： - 無効な入力**：入力漏れまたは無効なテキストに対して明確なエラーメッセージを返します。 - 空のテキスト**：空の文字列に対して 0 トークンを返す - **Unsupported Model**：tiktoken がサポートしていないモデルに対してはエラーを返します。 - トークン化エラー**：tiktoken ライブラリのエラーを優雅に処理します。 - **Safety Limit Warnings**：トークン数が安全限界を超えた場合に警告をログに残す ## 利点 - コストの最適化**：APIコールを行う前にトークンのコストを見積もる - レート制限**：トークンの予算を管理し、安全な制限で超過を防止します。 - ワークフローロジックトークン数と安全閾値に基づく条件付きロジックを有効化 - 透明性**：トークンの使用パターンを可視化します：トークン使用パターンの可視化 - プロアクティブモニタリング安全閾値の設定により、トークン超過の可能性を早期に発見

トークン推定

機能