# Tiktoken Estimator Entegrasyonu Tiktoken kütüphanesini kullanarak metin için token sayısını tahmin edin ve OpenAI modelleri için doğru token sayımını etkinleştirin. ## Özellikler - **Doğru Token Sayımı**: Kesin token tahminleri sağlamak için resmi tiktoken kütüphanesini kullanır - Çoklu Model Desteği**: Çeşitli OpenAI modellerini destekler (gpt-3.5-turbo, gpt-4, vb.) - Güvenlik Sınırları**: Jeton aşımlarını önlemek için isteğe bağlı güvenlik limiti kontrolü - Sıfır Yapılandırma**: Kurulum gerektirmez - kutudan çıkar çıkmaz çalışır - **Hata İşleme**: Açıklayıcı mesajlarla zarif hata işleme ## Kullanım ### Tahmini Jeton Eylemi Entegrasyon tek bir eylem sağlar: `estimateTokens` **Giriş Parametreleri:** - `text` (gerekli): Jetonların tahmin edileceği metin - `model` (isteğe bağlı): Tokenizasyon için kullanılacak OpenAI modeli (varsayılan olarak "gpt-3.5-turbo") - `safetyLimit` (isteğe bağlı): Belirteç sayısı tahmini için güvenlik sınırı. Boş bırakılırsa limit uygulanmayacaktır **Çıktı:** - `tokenCount`: Metindeki tahmini belirteç sayısı - `tokenizerName`: Kullanılan tokenizer'ın adı - `model`: Tokenleştirmenin temel aldığı model - `limitExceeded`: Tahmini belirteç sayısının güvenlik sınırını aşıp aşmadığını gösterir (yalnızca safetyLimit sağlandığında mevcuttur) ### Örnek Kullanım **Temel Kullanım:** ``` Metin: "Merhaba, dünya!" Model: "gpt-3.5-turbo" Sonuç: - tokenCount: 4 - tokenizerName: "tiktoken" - model: "gpt-3.5-turbo" ``` **Güvenlik Sınırı ile:** ``` Metin: "Bu, güvenlik limitimizi aşabilecek daha uzun bir metindir..." Model: "gpt-3.5-turbo" Güvenlik Sınırı: 10 Sonuç: - tokenCount: 15 - tokenizerName: "tiktoken" - model: "gpt-3.5-turbo" - limitExceeded: true ``` ## Desteklenen Modeller - `gpt-3.5-turbo` - `gpt-4` - `gpt-4-turbo` - `text-davinci-003` - `text-davinci-002` - `code-davinci-002` - Ve tiktoken tarafından desteklenen diğer OpenAI modelleri ## Önerilen Güvenlik Sınırları Güvenlik sınırlarını belirlerken, gerçek API çağrılarınızın sistem istemleri, konuşma geçmişi ve yanıt oluşturma için ek belirteçler içereceğini göz önünde bulundurun. İşte muhafazakâr öneriler: ### GPT.5-Turbo (4,096 token sınırı) - Muhafazakâr**: 2.500 jeton (sistem istemleri + yanıt için ~1.600 kalır) - **Orta**: 3.000 jeton (sistem istemleri + yanıt için ~1.100 kalır) - Agresif**: 3.500 jeton (sistem istemleri + yanıt için ~600 kalır) ### GPT(8.192 belirteç sınırı) - Muhafazakâr**: 5.000 jeton (sistem istemleri + yanıt için ~3.200 kalır) - **Orta**: 6.000 jeton (sistem istemleri + yanıt için ~2.200 kalır) - Agresif**: 7.000 jeton (sistem istemleri + yanıt için ~1.200 kalır) ### GPT Turbo (128.000 jeton limiti) - Muhafazakâr**: 100.000 jeton (sistem istemleri + yanıt için ~28.000 kalır) - **Orta**: 110.000 jeton (sistem istemleri + yanıt için ~18.000 kalır) - Agresif**: 120.000 jeton (sistem istemleri + yanıt için ~8.000 kalır) **Not**: Bu öneriler tipik sistem istem boyutlarını (200-800 belirteç) ve istenen yanıt uzunluklarını (500-2.000 belirteç) varsaymaktadır. Özel kullanım durumunuza göre ayarlayın. ## Hata İşleme Entegrasyon çeşitli hata senaryolarını ele alır: - **Geçersiz Girdi**: Eksik veya geçersiz metin için net hata mesajları döndürür - **Boş Metin**: Boş dizeler için 0 belirteç döndürür - **Desteklenmeyen Model**: tiktoken tarafından desteklenmeyen modeller için hata döndürür - **Tokenizasyon Hataları**: tiktoken kütüphanesi hatalarını incelikle ele alır - **Güvenlik Sınırı Uyarıları**: Belirteç sayıları güvenlik sınırlarını aştığında uyarıları günlüğe kaydeder ## Faydaları - **Maliyet Optimizasyonu**: API çağrıları yapmadan önce token maliyetlerini tahmin edin - Oran Sınırlama**: Jeton bütçelerini yönetin ve güvenlik limitleri ile aşımları önleyin - İş Akışı Mantığı**: Belirteç sayılarına ve güvenlik eşiklerine dayalı koşullu mantığı etkinleştirin - Şeffaflık**: Token kullanım modellerine görünürlük sağlayın - Proaktif İzleme**: Potansiyel token aşımlarını erken yakalamak için güvenlik limitleri belirleyin
