# Tiktoken Estimator Entegrasyonu
Tiktoken kütüphanesini kullanarak metin için token sayısını tahmin edin ve OpenAI modelleri için doğru token sayımını etkinleştirin.
Özellikler
- Doğru Token Sayımı: Kesin token tahminleri sağlamak için resmi tiktoken kütüphanesini kullanır
- Çoklu Model Desteği**: Çeşitli OpenAI modellerini destekler (gpt-3.5-turbo, gpt-4, vb.)
- Güvenlik Sınırları**: Jeton aşımlarını önlemek için isteğe bağlı güvenlik limiti kontrolü
- Sıfır Yapılandırma**: Kurulum gerektirmez - kutudan çıkar çıkmaz çalışır
- Hata İşleme: Açıklayıcı mesajlarla zarif hata işleme
Kullanım
Tahmini Jeton Eylemi
Entegrasyon tek bir eylem sağlar: estimateTokens
Giriş Parametreleri:
text
(gerekli): Jetonların tahmin edileceği metinmodel
(isteğe bağlı): Tokenizasyon için kullanılacak OpenAI modeli (varsayılan olarak "gpt-3.5-turbo")safetyLimit
(isteğe bağlı): Belirteç sayısı tahmini için güvenlik sınırı. Boş bırakılırsa limit uygulanmayacaktır
Çıktı:
tokenCount
: Metindeki tahmini belirteç sayısıtokenizerName
: Kullanılan tokenizer'ın adımodel
: Tokenleştirmenin temel aldığı modellimitExceeded
: Tahmini belirteç sayısının güvenlik sınırını aşıp aşmadığını gösterir (yalnızca safetyLimit sağlandığında mevcuttur)
Örnek Kullanım
Temel Kullanım:
Metin: "Merhaba, dünya!"
Model: "gpt-3.5-turbo"
Sonuç:
- tokenCount: 4
- tokenizerName: "tiktoken"
- model: "gpt-3.5-turbo"
Güvenlik Sınırı ile:
Metin: "Bu, güvenlik limitimizi aşabilecek daha uzun bir metindir..."
Model: "gpt-3.5-turbo"
Güvenlik Sınırı: 10
Sonuç:
- tokenCount: 15
- tokenizerName: "tiktoken"
- model: "gpt-3.5-turbo"
- limitExceeded: true
Desteklenen Modeller
gpt-3.5-turbo
gpt-4
gpt-4-turbo
text-davinci-003
text-davinci-002
code-davinci-002
- Ve tiktoken tarafından desteklenen diğer OpenAI modelleri
Önerilen Güvenlik Sınırları
Güvenlik sınırlarını belirlerken, gerçek API çağrılarınızın sistem istemleri, konuşma geçmişi ve yanıt oluşturma için ek belirteçler içereceğini göz önünde bulundurun. İşte muhafazakâr öneriler:
GPT.5-Turbo (4,096 token sınırı)
- Muhafazakâr**: 2.500 jeton (sistem istemleri + yanıt için ~1.600 kalır)
- Orta: 3.000 jeton (sistem istemleri + yanıt için ~1.100 kalır)
- Agresif**: 3.500 jeton (sistem istemleri + yanıt için ~600 kalır)
GPT(8.192 belirteç sınırı)
- Muhafazakâr**: 5.000 jeton (sistem istemleri + yanıt için ~3.200 kalır)
- Orta: 6.000 jeton (sistem istemleri + yanıt için ~2.200 kalır)
- Agresif**: 7.000 jeton (sistem istemleri + yanıt için ~1.200 kalır)
GPT Turbo (128.000 jeton limiti)
- Muhafazakâr**: 100.000 jeton (sistem istemleri + yanıt için ~28.000 kalır)
- Orta: 110.000 jeton (sistem istemleri + yanıt için ~18.000 kalır)
- Agresif**: 120.000 jeton (sistem istemleri + yanıt için ~8.000 kalır)
Not: Bu öneriler tipik sistem istem boyutlarını (200-800 belirteç) ve istenen yanıt uzunluklarını (500-2.000 belirteç) varsaymaktadır. Özel kullanım durumunuza göre ayarlayın.
Hata İşleme
Entegrasyon çeşitli hata senaryolarını ele alır:
- Geçersiz Girdi: Eksik veya geçersiz metin için net hata mesajları döndürür
- Boş Metin: Boş dizeler için 0 belirteç döndürür
- Desteklenmeyen Model: tiktoken tarafından desteklenmeyen modeller için hata döndürür
- Tokenizasyon Hataları: tiktoken kütüphanesi hatalarını incelikle ele alır
- Güvenlik Sınırı Uyarıları: Belirteç sayıları güvenlik sınırlarını aştığında uyarıları günlüğe kaydeder
Faydaları
- Maliyet Optimizasyonu: API çağrıları yapmadan önce token maliyetlerini tahmin edin
- Oran Sınırlama**: Jeton bütçelerini yönetin ve güvenlik limitleri ile aşımları önleyin
- İş Akışı Mantığı**: Belirteç sayılarına ve güvenlik eşiklerine dayalı koşullu mantığı etkinleştirin
- Şeffaflık**: Token kullanım modellerine görünürlük sağlayın
- Proaktif İzleme**: Potansiyel token aşımlarını erken yakalamak için güvenlik limitleri belirleyin