Token Estimator Entegrasyonu | Botpress Hub

Jeton Tahmincisi

v0.2.0
Simply Great Bots tarafından korunuyor

# Tiktoken Estimator Entegrasyonu

Tiktoken kütüphanesini kullanarak metin için token sayısını tahmin edin ve OpenAI modelleri için doğru token sayımını etkinleştirin.

Özellikler

  • Doğru Token Sayımı: Kesin token tahminleri sağlamak için resmi tiktoken kütüphanesini kullanır
  • Çoklu Model Desteği**: Çeşitli OpenAI modellerini destekler (gpt-3.5-turbo, gpt-4, vb.)
  • Güvenlik Sınırları**: Jeton aşımlarını önlemek için isteğe bağlı güvenlik limiti kontrolü
  • Sıfır Yapılandırma**: Kurulum gerektirmez - kutudan çıkar çıkmaz çalışır
  • Hata İşleme: Açıklayıcı mesajlarla zarif hata işleme

Kullanım

Tahmini Jeton Eylemi

Entegrasyon tek bir eylem sağlar: estimateTokens

Giriş Parametreleri:

  • text (gerekli): Jetonların tahmin edileceği metin
  • model (isteğe bağlı): Tokenizasyon için kullanılacak OpenAI modeli (varsayılan olarak "gpt-3.5-turbo")
  • safetyLimit (isteğe bağlı): Belirteç sayısı tahmini için güvenlik sınırı. Boş bırakılırsa limit uygulanmayacaktır

Çıktı:

  • tokenCount: Metindeki tahmini belirteç sayısı
  • tokenizerName: Kullanılan tokenizer'ın adı
  • model: Tokenleştirmenin temel aldığı model
  • limitExceeded: Tahmini belirteç sayısının güvenlik sınırını aşıp aşmadığını gösterir (yalnızca safetyLimit sağlandığında mevcuttur)

Örnek Kullanım

Temel Kullanım:

Metin: "Merhaba, dünya!"
Model: "gpt-3.5-turbo"

Sonuç:
- tokenCount: 4
- tokenizerName: "tiktoken"
- model: "gpt-3.5-turbo"

Güvenlik Sınırı ile:

Metin: "Bu, güvenlik limitimizi aşabilecek daha uzun bir metindir..."
Model: "gpt-3.5-turbo"
Güvenlik Sınırı: 10

Sonuç:
- tokenCount: 15
- tokenizerName: "tiktoken"
- model: "gpt-3.5-turbo"
- limitExceeded: true

Desteklenen Modeller

  • gpt-3.5-turbo
  • gpt-4
  • gpt-4-turbo
  • text-davinci-003
  • text-davinci-002
  • code-davinci-002
  • Ve tiktoken tarafından desteklenen diğer OpenAI modelleri

Önerilen Güvenlik Sınırları

Güvenlik sınırlarını belirlerken, gerçek API çağrılarınızın sistem istemleri, konuşma geçmişi ve yanıt oluşturma için ek belirteçler içereceğini göz önünde bulundurun. İşte muhafazakâr öneriler:

GPT.5-Turbo (4,096 token sınırı)

  • Muhafazakâr**: 2.500 jeton (sistem istemleri + yanıt için ~1.600 kalır)
  • Orta: 3.000 jeton (sistem istemleri + yanıt için ~1.100 kalır)
  • Agresif**: 3.500 jeton (sistem istemleri + yanıt için ~600 kalır)

GPT(8.192 belirteç sınırı)

  • Muhafazakâr**: 5.000 jeton (sistem istemleri + yanıt için ~3.200 kalır)
  • Orta: 6.000 jeton (sistem istemleri + yanıt için ~2.200 kalır)
  • Agresif**: 7.000 jeton (sistem istemleri + yanıt için ~1.200 kalır)

GPT Turbo (128.000 jeton limiti)

  • Muhafazakâr**: 100.000 jeton (sistem istemleri + yanıt için ~28.000 kalır)
  • Orta: 110.000 jeton (sistem istemleri + yanıt için ~18.000 kalır)
  • Agresif**: 120.000 jeton (sistem istemleri + yanıt için ~8.000 kalır)

Not: Bu öneriler tipik sistem istem boyutlarını (200-800 belirteç) ve istenen yanıt uzunluklarını (500-2.000 belirteç) varsaymaktadır. Özel kullanım durumunuza göre ayarlayın.

Hata İşleme

Entegrasyon çeşitli hata senaryolarını ele alır:

  • Geçersiz Girdi: Eksik veya geçersiz metin için net hata mesajları döndürür
  • Boş Metin: Boş dizeler için 0 belirteç döndürür
  • Desteklenmeyen Model: tiktoken tarafından desteklenmeyen modeller için hata döndürür
  • Tokenizasyon Hataları: tiktoken kütüphanesi hatalarını incelikle ele alır
  • Güvenlik Sınırı Uyarıları: Belirteç sayıları güvenlik sınırlarını aştığında uyarıları günlüğe kaydeder

Faydaları

  • Maliyet Optimizasyonu: API çağrıları yapmadan önce token maliyetlerini tahmin edin
  • Oran Sınırlama**: Jeton bütçelerini yönetin ve güvenlik limitleri ile aşımları önleyin
  • İş Akışı Mantığı**: Belirteç sayılarına ve güvenlik eşiklerine dayalı koşullu mantığı etkinleştirin
  • Şeffaflık**: Token kullanım modellerine görünürlük sağlayın
  • Proaktif İzleme**: Potansiyel token aşımlarını erken yakalamak için güvenlik limitleri belirleyin