Yapay Zeka Harcama Maliyeti Nasıl Optimize Edilir? Botpress

Birçok işletme, aşırı harcama yapmadan yapay zeka teknolojilerinin potansiyelinden yararlanma zorluğuyla karşı karşıyadır. Bu dengenin önemini anlıyoruz ve kullanıcılarımızın yapay zekadan uygun maliyetle yararlanmalarını sağlayan çözümler sunmaya kararlıyız.

Yapay Zeka Maliyetine Yaklaşımımız

İlk olarak, bir yandan yapay zeka yeteneklerinin faydalarını sunarken diğer yandan kullanıcılarımız için yapay zeka ile ilgili maliyetleri nasıl azalttığımızın iki önemli bileşenini anlamak önemlidir.

Şeffaf Fiyatlandırma: Gizli Ücretler Yok

Yapay zeka ile ilgili görevlere herhangi bir marj eklemiyoruz. Bu, YZ Harcama maliyetinizin bizim tarafımızdan herhangi bir ek YZ ücreti olmaksızın doğrudan gerçek kullanımınızla ilgili olduğu anlamına gelir. Bizimle potansiyel Yapay Zeka Harcamalarınızı tahmin etmek için Yapay Zeka Harcama Hesaplayıcımızı kullanabilirsiniz.

Yapay Zeka Yanıtlarını Önbelleğe Alma

Önbelleğe alma, botların yapay zeka maliyetlerini düşürmek için en etkili stratejilerimizden biridir. Yapay zeka yanıtlarını önbelleğe alarak, LLM sağlayıcısına yapılan istek sayısını azaltıyoruz, bu da sorguların maliyetini yaklaşık %30 azaltarak botun kullanıcılarınızla etkileşimlerinin kalitesinden ödün vermeden paradan tasarruf etmenizi sağlayabilir.

Yapay Zeka Maliyetini optimize etmek için ipuçları

Kullanıcılarımızın yapay zeka maliyetini düşürmek için kullandığımız yaklaşımlardan ikisini gördüğümüze göre, şimdi de botunuzu oluştururken yapay zeka maliyetini daha da düşürmek için kullanabileceğiniz ipuçlarına bakalım.

Bilgi Tabanlarınızı Optimize Edin

Bilgi Tabanlarınızı (KB'ler) optimize etmek YZ Harcamalarınızı büyük ölçüde etkileyebilir, çünkü KB'ler genellikle bir Botpress projesindeki en büyük YZ maliyet faktörüdür.

İpucu 1: Doğru Yapay Zeka Modelini Seçin

Bir AI modelinin seçimi maliyeti önemli ölçüde etkiler. GPT -3.5 Turbo, GPT-4 Turbo'dan daha hızlı ve daha ucuz olduğundan, daha gelişmiş sürümlere yükseltmeyi düşünmeden önce kurulumunuzu GPT-3.5 Turbo ile iyice test etmenizi öneririz. 

KB Agent hibrit modumuz, bir sorguya yanıt vermek için başlangıçta GPT-3.5 Turbo'yu kullandığımız ve yalnızca gerektiğinde GPT-4 Turbo'ya yükselttiğimiz için mükemmel bir orta yol sunar.

İpucu 2: KB'nizi Koruyun

KB'nizi bir Kayıt Bul kartı ile yapay zekaya veya akıllı yanıtlamaya ihtiyaç duymayan gereksiz tipik SSS'lerden koruyarak yapay zeka harcamalarınızı azaltabilirsiniz. Şöyle çalışır: Kullanıcıların genellikle bir soru sorduğunu biliyorsanız ve cevaplarıyla birlikte 50 iyi bilinen sorumuz varsa, bunları bir tabloya ekleyebilir ve bir Kayıt Bul kartı kullanarak bu tabloyu sorgulayabiliriz. Bir yanıt bulamazsak, ancak o zaman bir KB'ye bakarız.

İpucu 3: KB'lerinizi Doğru Şekilde Kapsamlandırın

Bir KB'ye eklemek istediğiniz bilginin türüne ve miktarına bağlı olarak, AI Harcama maliyetini azaltmak için genellikle paralel olarak iki şey yapmak en iyi uygulamadır. İlk olarak, bilgilerinizi daha küçük KB'ler halinde düzenleyin ve her KB'nin kapsamını belirli bir ürün/özellik/konuyla sınırlandırın. İkincisi, aramanızı belirli bir KB'ye indirgemek için kullanıcıyı birden fazla soru içeren bir iş akışına yönlendirin; bu yalnızca maliyeti düşürmekle kalmayacak, aynı zamanda daha iyi sonuçlar verecektir.

İpucu 4: Web Sitesi KB Veri Kaynağı vs Web KB Veri Kaynağında Ara

KB veri kaynağınız olarak bir web sitesi kullanıyor ancak web sitesinde botunuza gerçek zamanlı olarak yansıtılması gereken sürekli değişiklikler yapmıyorsanız, Web Sitesi KB veri kaynağı yerine KB veri kaynağınız olarak Web'de Ara'yı kullanmak uygun maliyetli iyi bir alternatiftir. Bu geçişi yapmadan önce, sorulmasını beklediğiniz sorulardaki performansın bu geçişle düşmediğini test ettiğinizden emin olun.

İpucu 5: Kayıtları Bul veya Kod Çalıştır kartı ile Tabloları Sorgulama

Sorgulamak istediğiniz verileri içeren bir Tablonuz varsa, KB'deki Tabloyu kullanmak yerine Kayıtları Bul kartını kullanmayı düşünün. Teknik uzmanlığa sahip olanlar için kod çalıştırmak, bir Tabloyu sorgulamak için daha da uygun maliyetli bir yöntem olabilir. Bunu, Tabloyu doğrudan Kodu Çalıştır kartından sorgulayarak ve çıktıyı daha sonra başvurabileceğiniz bir iş akışı değişkeninde saklayarak yapabilirsiniz.

İpucu 6: Parçaları Kontrol Edin

Parçalar derken, bir yanıt oluşturmak için Bilgi Tabanından alınacak parçaların sayısını kastediyorum. Genel olarak ne kadar çok parça alınırsa, yanıt o kadar doğru olur - ancak oluşturulması daha uzun sürer ve daha fazla AI jetonuna mal olur. Hala doğru yanıtlara yol açan en düşük miktarı belirlemek için yığın boyutu ile denemeler yapın.

Yapay Zeka Harcama maliyetini düşürmek için Kod Kartı Yürüt'ü kullanın

Kod Yürütme kartı, bazı AI kartları için uygun, uygun maliyetli bir yedek olabilir. İşte bunları kullanmayı düşünebileceğiniz birkaç senaryo:

Daha Akıllı Mesaj Alternatifleri

Botunuzun aynı sorgu için her seferinde farklı bir YZ yanıtı göndermesini istiyorsanız, önbelleğe almayı önlemeniz gerekir (nasıl yapılacağını öğrenmek için Ek'e bakın). YZ Harcamalarındaki artışın, konuşma deneyimindeki iyileşme ile gerekçelendirilebileceği senaryolar vardır. Ancak bu her zaman geçerli değildir.

LLMs ile oluşturulan basit bir karşılama mesajı gibi bir şey düşünün. Her karşılama mesajında ek bir AI Harcama maliyetine katlanırsınız. Buna değer mi? Muhtemelen değmez. Neyse ki, uygun maliyetli bir çözüm var: birden fazla yanıt içeren bir dizi ve rastgele bir değer alıp sunmak için basit bir işlev kullanın. 

Konuşma hacmine bağlı olarak, bu yöntemi uygulayarak tasarruf edeceğiniz miktar, harcadığınız çabaya değebilir.

Alternatif mesajların nasıl uygulanacağı hakkında daha fazla bilgiyi burada bulabilirsiniz.

Basit Görevler için Kod Yürütme

Verilerin yeniden biçimlendirilmesi veya yapılandırılmış verilerden bilgi çıkarılması gibi basit görevler için Execute Code kartının kullanılması, LLM adresine güvenmekten daha verimli, daha ucuz ve daha hızlı olabilir.

Özet Temsilciye Alternatifler

Kendi transkriptinizi oluşturmak için Execute Code kartlarını kullanabilirsiniz. Kullanıcıların ve botun mesajını bir dizi değişkeninde izlemek istediğiniz yere bir Execute Code kartı yerleştirin. Daha sonra, bu diziyi kullanabilir ve KB'nize bağlam olarak besleyebilirsiniz.

Mümkün Olduğunda Basitleştirin

Kullanıcı deneyimini bozmadan aynı hedefi gerçekleştiren daha basit etkileşim yöntemini tercih edin. Örneğin, kullanıcı geri bildirimi toplamakla ilgileniyorsanız, yorumlarla birlikte basit bir yıldız derecelendirme sistemi, aynı bilgileri toplamak için yapay zeka kullanmaktan daha uygun maliyetli olacaktır.

Yapay Zeka Görevleri, Yapay Zeka Metin Oluşturma ve Çeviriler için İpuçları

Doğru Yapay Zeka Modelini Seçin 

Evet, doğru YZ modelini seçmek o kadar önemlidir ki iki kez bahsetmeye değer. KB'lere benzer şekilde, YZ Görevleri söz konusu olduğunda YZ modeli seçimi maliyeti önemli ölçüde etkiler. Daha az karmaşık talimatlar için GPT-3.5 Turbo'yu tercih edin. Daha gelişmiş sürümlere yükseltmeyi düşünmeden önce, kurulumunuzu bu modelle iyice test edin. Unutmayın, GPT-4 Turbo, GPT-3.5 Turbo'dan 20 kat daha pahalıdır. Sonuçlar çok daha iyi olmadığı sürece GPT-3.5 Turbo'yu tercih edin.

Yukarıdakilere ek olarak, her YZ Görevi çalışmasında tüketilen jeton sayısını azaltarak da YZ Harcamalarını koruyabilirsiniz.

Benim tavsiyem, bu sayıyı azaltma konusunda bilinçli olmanızdır çünkü bu, ek belirteçlerin kesilmesine neden olacaktır. Örneğin, uzunluğu 2000 belirteçle sınırlarsanız ve isteminiz artı çıktınız 2000 belirteçten fazlaysa, girdiniz buna göre kesilecektir.

AI Task vs AI Generate Text

Basit metin çıktıları için AI Generate Text kartı daha az belirteç kullanır ve kurulumu AI Task kartına göre daha kolaydır. Bilgi ayrıştırma içeren görevler için AI Görev kartı, AI Metin Oluştur kartından daha iyi performans gösterir. 

Bu nedenle benim tavsiyem, bilgiyi işlemek için YZ kullanmak istediğinizde YZ Görev kartını kullanmanızdır (örneğin, kullanıcının niyetini tespit etmek veya YZ'nin girdiyi analiz etmesini istiyorsanız). Ancak, metin oluşturmak için yapay zekadan yararlanmak istiyorsanız, bunun yerine AI Generate Text kartını kullanın (örneğin, bir KB yanıtını alıp genişletmek veya yaratıcı bir şekilde bir soru oluşturmak istiyorsanız).

YZ Görev kartı ile YZ Metin Oluşturma kartı arasındaki farkları daha derinlemesine incelemek için buradan daha fazla bilgi edinebilirsiniz.

Çeviriler

Botunuz çok sayıda çok dilli görüşmeyi yönetecekse, daha uygun maliyetli bir seçenek için kancaları harici çeviri hizmetleriyle entegre etmeyi düşünün.

Kancalar hakkında daha fazla bilgiyi burada bulabilirsiniz.

Sonuç

Bu stratejiler ve ipuçları sayesinde Botpress adresinde YZ Harcamalarınızı optimize edebilirsiniz. Farklı görevlerin maliyet etkilerini anlamak ve ihtiyaçlarınız için en verimli yöntemleri seçmek, performanstan ödün vermeden yapay zeka ile ilgili harcamalarınızı azaltacaktır.

Ekibimiz bu seçenekler arasında gezinmenize yardımcı olmak ve botunuzun kullanıcılarınız için mümkün olan en iyi deneyimi en verimli maliyetle sunmasını sağlamak için burada. Daha fazla bilgi için Fiyatlandırma sayfamızı ziyaret edin veya yardım için Discord sunucumuzu ziyaret edin.

Ekler

Önbelleğe Alma Nasıl Önlenir

Her zaman canlı sonuçlar almak için önbelleğe almanın üstesinden gelmek istiyorsanız, aşağıdaki seçeneklerden birini yapabilirsiniz:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• Geçici önbelleğe almayı önlemek için: botunuzu yayınlayın ve gizli bir pencereden test edin.

Not: Her şey eşit olduğunda, bu önbellek katmanını kaldırdığınızda ve botunuzda başka bir değişiklik yapmadığınızda, AI Harcama maliyeti artacaktır.

Önerilen Kurslar

• ‍ChatGPT Geliştiriciler için İstemi Mühendisliği (başlıkta geliştiriciler için yazsa da, geliştirici olmayanlar da faydalanacaktır!)
• ‍ ChatGPT API ile Sistem Oluşturma