# Integración de Tiktoken Estimator Estima el conteo de tokens para texto usando la librería tiktoken, permitiendo un conteo preciso de tokens para modelos OpenAI . ## Características - Recuento preciso de tokens**: Utiliza la biblioteca oficial tiktoken para proporcionar estimaciones precisas de tokens. - Soporte Multi-Modelo**: Soporta varios modelos de OpenAI (gpt-3.5-turbo, gpt-4, etc.) - Límites de seguridad**: Comprobación opcional de límites de seguridad para evitar excesos de tokens. - Configuración cero**: No requiere configuración - funciona fuera de la caja - Gestión de errores**: Gestión de errores con mensajes descriptivos ## Uso ### Estimate Tokens Action La integración proporciona una única acción: `estimateTokens`. **Parámetros de entrada - `text` (obligatorio): El texto para el que estimar los tokens - `model` (opcional): El modelo OpenAI a utilizar para la tokenización (por defecto es "gpt-3.5-turbo") - `safetyLimit` (opcional): Límite de seguridad para la estimación del recuento de tokens. Si se deja vacío, no se aplicará ningún límite **Salida - `tokenCount`: El número estimado de tokens en el texto - `tokenizerName`: El nombre del tokenizador utilizado - `model`: El modelo en el que se ha basado la tokenización - `limitExceeded`: Indica si el recuento estimado de tokens ha superado el límite de seguridad (sólo está presente cuando se proporciona safetyLimit). ### Ejemplo de uso **Uso básico ``` Texto: "¡Hola, mundo!" Modelo: "gpt-3.5-turbo" Resultado: - tokenCount: 4 - tokenizerName: "tiktoken" - model: "gpt-3.5-turbo" ``` **Con Límite de Seguridad:** ``` Texto: "Este es un texto más largo que podría exceder nuestro límite de seguridad..." Modelo: "gpt-3.5-turbo" Límite de seguridad: 10 Resultado: - tokenCount: 15 - tokenizerName: "tiktoken" - model: "gpt-3.5-turbo" - limitExceeded: true ``` ## Modelos admitidos - gpt-3.5-turbo - gpt-4 - gpt-4-turbo - text-davinci-003 - text-davinci-002 - código-davinci-002 - Y otros modelos de OpenAI compatibles con tiktoken ## Límites de seguridad recomendados A la hora de establecer los límites de seguridad, ten en cuenta que tus llamadas reales a la API incluirán tokens adicionales para las solicitudes del sistema, el historial de conversaciones y la generación de respuestas. Estas son recomendaciones conservadoras: ### GPT.5-Turbo (límite de 4.096 tokens) - Conservador**: 2.500 tokens (quedan ~1.600 para avisos del sistema + respuesta) - Moderado**: 3.000 tokens (deja ~1.100 para indicaciones del sistema + respuesta) - **Agresivo**: 3.500 tokens (deja ~600 para indicaciones del sistema + respuesta) ### GPT(límite de 8.192 tokens) - Conservador**: 5.000 tokens (deja ~3.200 para indicaciones del sistema + respuesta) - **Moderado**: 6.000 tokens (deja ~2.200 para indicaciones del sistema + respuesta) - **Agresivo**: 7.000 tokens (deja ~1.200 para indicaciones del sistema + respuesta) ### GPT Turbo (límite de 128.000 tokens) - Conservador**: 100.000 tokens (deja ~28.000 para avisos del sistema + respuesta) - **Moderado**: 110.000 tokens (deja ~18.000 para avisos del sistema + respuesta) - **Agresivo**: 120.000 tokens (deja ~8.000 para las indicaciones del sistema + respuesta) **Nota**: Estas recomendaciones se basan en el tamaño típico de las instrucciones del sistema (200-800 tokens) y en la longitud deseada de las respuestas (500-2.000 tokens). Ajústelas en función de su caso de uso específico. ## Tratamiento de errores La integración maneja varios escenarios de error: - Entrada no válida**: Devuelve mensajes de error claros para texto no válido o faltante. - Texto vacío**: Devuelve 0 tokens para cadenas vacías - Modelo no soportado**: Devuelve error para modelos no soportados por tiktoken - Errores de Tokenización**: Maneja los errores de la biblioteca tiktoken con gracia - Avisos de límite de seguridad**: Registra advertencias cuando el recuento de tokens excede los límites de seguridad ## Beneficios - Optimización de costes**: Estima los costes de los tokens antes de realizar las llamadas a la API - Limitación de tarifas**: Gestione los presupuestos de tokens y evite excesos con límites de seguridad - Lógica de flujo de trabajo Habilite la lógica condicional basada en recuentos de tokens y umbrales de seguridad - Transparencia**: Proporciona visibilidad de los patrones de uso de los tokens - Supervisión proactiva**: Establezca límites de seguridad para detectar a tiempo posibles excesos de fichas
