Yapay Zeka Harcama Maliyeti Nasıl Optimize Edilir? Botpress

İpucu 1: Doğru Yapay Zeka Modelini Seçin

Bir AI modelinin seçimi maliyeti önemli ölçüde etkiler. GPT -3.5 Turbo, GPT-4 Turbo'dan daha hızlı ve daha ucuz olduğundan, daha gelişmiş sürümlere yükseltmeyi düşünmeden önce kurulumunuzu GPT-3.5 Turbo ile iyice test etmenizi öneririz. 

KB Agent hibrit modumuz, bir sorguya yanıt vermek için başlangıçta GPT-3.5 Turbo'yu kullandığımız ve yalnızca gerektiğinde GPT-4 Turbo'ya yükselttiğimiz için mükemmel bir orta yol sunar.

İpucu 2: KB'nizi Koruyun

KB'nizi bir Kayıt Bul kartı ile yapay zekaya veya akıllı yanıtlamaya ihtiyaç duymayan gereksiz tipik SSS'lerden koruyarak yapay zeka harcamalarınızı azaltabilirsiniz. Şöyle çalışır: Kullanıcıların genellikle bir soru sorduğunu biliyorsanız ve cevaplarıyla birlikte 50 iyi bilinen sorumuz varsa, bunları bir tabloya ekleyebilir ve bir Kayıt Bul kartı kullanarak bu tabloyu sorgulayabiliriz. Bir yanıt bulamazsak, ancak o zaman bir KB'ye bakarız.

İpucu 3: KB'lerinizi Doğru Şekilde Kapsamlandırın

Bir KB'ye eklemek istediğiniz bilginin türüne ve miktarına bağlı olarak, AI Harcama maliyetini azaltmak için genellikle paralel olarak iki şey yapmak en iyi uygulamadır. İlk olarak, bilgilerinizi daha küçük KB'ler halinde düzenleyin ve her KB'nin kapsamını belirli bir ürün/özellik/konuyla sınırlandırın. İkincisi, aramanızı belirli bir KB'ye indirgemek için kullanıcıyı birden fazla soru içeren bir iş akışına yönlendirin; bu yalnızca maliyeti düşürmekle kalmayacak, aynı zamanda daha iyi sonuçlar verecektir.

İpucu 4: Web Sitesi KB Veri Kaynağı vs Web KB Veri Kaynağında Ara

KB veri kaynağınız olarak bir web sitesi kullanıyor ancak web sitesinde botunuza gerçek zamanlı olarak yansıtılması gereken sürekli değişiklikler yapmıyorsanız, Web Sitesi KB veri kaynağı yerine KB veri kaynağınız olarak Web'de Ara'yı kullanmak uygun maliyetli iyi bir alternatiftir. Bu geçişi yapmadan önce, sorulmasını beklediğiniz sorulardaki performansın bu geçişle düşmediğini test ettiğinizden emin olun.

İpucu 5: Kayıtları Bul veya Kod Çalıştır kartı ile Tabloları Sorgulama

Sorgulamak istediğiniz verileri içeren bir Tablonuz varsa, KB'deki Tabloyu kullanmak yerine Kayıtları Bul kartını kullanmayı düşünün. Teknik uzmanlığa sahip olanlar için kod çalıştırmak, bir Tabloyu sorgulamak için daha da uygun maliyetli bir yöntem olabilir. Bunu, Tabloyu doğrudan Kodu Çalıştır kartından sorgulayarak ve çıktıyı daha sonra başvurabileceğiniz bir iş akışı değişkeninde saklayarak yapabilirsiniz.

İpucu 6: Parçaları Kontrol Edin

Parçalar derken, bir yanıt oluşturmak için Bilgi Tabanından alınacak parçaların sayısını kastediyorum. Genel olarak ne kadar çok parça alınırsa, yanıt o kadar doğru olur - ancak oluşturulması daha uzun sürer ve daha fazla AI jetonuna mal olur. Hala doğru yanıtlara yol açan en düşük miktarı belirlemek için yığın boyutu ile denemeler yapın.

Daha Akıllı Mesaj Alternatifleri

Botunuzun aynı sorgu için her seferinde farklı bir YZ yanıtı göndermesini istiyorsanız, önbelleğe almayı önlemeniz gerekir (nasıl yapılacağını öğrenmek için Ek'e bakın). YZ Harcamalarındaki artışın, konuşma deneyimindeki iyileşme ile gerekçelendirilebileceği senaryolar vardır. Ancak bu her zaman geçerli değildir.

LLMs ile oluşturulan basit bir karşılama mesajı gibi bir şey düşünün. Her karşılama mesajında ek bir AI Harcama maliyetine katlanırsınız. Buna değer mi? Muhtemelen değmez. Neyse ki, uygun maliyetli bir çözüm var: birden fazla yanıt içeren bir dizi ve rastgele bir değer alıp sunmak için basit bir işlev kullanın. 

Konuşma hacmine bağlı olarak, bu yöntemi uygulayarak tasarruf edeceğiniz miktar, harcadığınız çabaya değebilir.

Alternatif mesajların nasıl uygulanacağı hakkında daha fazla bilgiyi burada bulabilirsiniz.

Basit Görevler için Kod Yürütme

Verilerin yeniden biçimlendirilmesi veya yapılandırılmış verilerden bilgi çıkarılması gibi basit görevler için Execute Code kartının kullanılması, LLM adresine güvenmekten daha verimli, daha ucuz ve daha hızlı olabilir.

Özet Temsilciye Alternatifler

Kendi transkriptinizi oluşturmak için Execute Code kartlarını kullanabilirsiniz. Kullanıcıların ve botun mesajını bir dizi değişkeninde izlemek istediğiniz yere bir Execute Code kartı yerleştirin. Daha sonra, bu diziyi kullanabilir ve KB'nize bağlam olarak besleyebilirsiniz.

Doğru Yapay Zeka Modelini Seçin 

Evet, doğru YZ modelini seçmek o kadar önemlidir ki iki kez bahsetmeye değer. KB'lere benzer şekilde, YZ Görevleri söz konusu olduğunda YZ modeli seçimi maliyeti önemli ölçüde etkiler. Daha az karmaşık talimatlar için GPT-3.5 Turbo'yu tercih edin. Daha gelişmiş sürümlere yükseltmeyi düşünmeden önce, kurulumunuzu bu modelle iyice test edin. Unutmayın, GPT-4 Turbo, GPT-3.5 Turbo'dan 20 kat daha pahalıdır. Sonuçlar çok daha iyi olmadığı sürece GPT-3.5 Turbo'yu tercih edin.

Yukarıdakilere ek olarak, her YZ Görevi çalışmasında tüketilen jeton sayısını azaltarak da YZ Harcamalarını koruyabilirsiniz.

Benim tavsiyem, bu sayıyı azaltma konusunda bilinçli olmanızdır çünkü bu, ek belirteçlerin kesilmesine neden olacaktır. Örneğin, uzunluğu 2000 belirteçle sınırlarsanız ve isteminiz artı çıktınız 2000 belirteçten fazlaysa, girdiniz buna göre kesilecektir.

AI Task vs AI Generate Text

Basit metin çıktıları için AI Generate Text kartı daha az belirteç kullanır ve kurulumu AI Task kartına göre daha kolaydır. Bilgi ayrıştırma içeren görevler için AI Görev kartı, AI Metin Oluştur kartından daha iyi performans gösterir. 

Bu nedenle benim tavsiyem, bilgiyi işlemek için YZ kullanmak istediğinizde YZ Görev kartını kullanmanızdır (örneğin, kullanıcının niyetini tespit etmek veya YZ'nin girdiyi analiz etmesini istiyorsanız). Ancak, metin oluşturmak için yapay zekadan yararlanmak istiyorsanız, bunun yerine AI Generate Text kartını kullanın (örneğin, bir KB yanıtını alıp genişletmek veya yaratıcı bir şekilde bir soru oluşturmak istiyorsanız).

YZ Görev kartı ile YZ Metin Oluşturma kartı arasındaki farkları daha derinlemesine incelemek için buradan daha fazla bilgi edinebilirsiniz.

Çeviriler

Botunuz çok sayıda çok dilli görüşmeyi yönetecekse, daha uygun maliyetli bir seçenek için kancaları harici çeviri hizmetleriyle entegre etmeyi düşünün.

Kancalar hakkında daha fazla bilgiyi burada bulabilirsiniz.