Jak zoptymalizować koszty wydatków na sztuczną inteligencję w Botpress

Wskazówka 1: Wybierz odpowiedni model AI

Wybór modelu AI znacząco wpływa na koszty. Ponieważ GPT-3.5 Turbo jest szybszy i tańszy niż GPT-4 Turbo, zalecamy dokładne przetestowanie konfiguracji z GPT-3.5 Turbo przed rozważeniem aktualizacji do bardziej zaawansowanych wersji. 

Nasz tryb hybrydowy KB Agent oferuje doskonały środek, ponieważ początkowo używamy GPT-3.5 Turbo do próby odpowiedzi na zapytanie i eskalujemy do GPT-4 Turbo tylko w razie potrzeby.

Wskazówka 2: Chroń swój KB

Możesz zmniejszyć wydatki na sztuczną inteligencję, chroniąc swój KB przed niepotrzebnymi typowymi często zadawanymi pytaniami, które nie wymagają sztucznej inteligencji lub inteligentnych odpowiedzi za pomocą karty Znajdź rekordy. Działa to w następujący sposób: jeśli wiesz, że użytkownicy zazwyczaj zadają jedno pytanie, a my mamy 50 dobrze znanych pytań z odpowiedziami, możemy dodać je do tabeli i zapytać tę tabelę za pomocą karty Find Records. Jeśli nie znajdziemy odpowiedzi, dopiero wtedy szukamy jej w KB.

Porada 3: Właściwy zakres KB

W zależności od rodzaju informacji i ilości informacji, które chcesz dodać do KB, zwykle najlepszą praktyką jest zrobienie dwóch rzeczy równolegle, aby obniżyć koszty AI Spend. Po pierwsze, należy zorganizować informacje w mniejsze KB, przy czym każdy KB jest ograniczony do określonego produktu/funkcji/tematu. Po drugie, przeprowadź użytkownika przez przepływ pracy z wieloma pytaniami, aby ograniczyć wyszukiwanie do określonego KB; nie tylko zmniejszy to koszty, ale także przyniesie lepsze wyniki.

Porada 4: Źródło danych KB witryny internetowej a źródło danych KB wyszukiwania w sieci Web

Jeśli używasz strony internetowej jako źródła danych KB, ale nie wprowadzasz ciągłych zmian na stronie, które muszą być odzwierciedlone w twoim bocie w czasie rzeczywistym, dobrą opłacalną alternatywą jest użycie Search The Web jako źródła danych KB zamiast źródła danych Website KB. Przed dokonaniem tego przejścia upewnij się, że przetestowałeś, że wydajność na pytaniach, które przewidujesz, że zostaną zadane, nie ulegnie pogorszeniu po tym przełączeniu.

Porada 5: Tabele zapytań z kartą Znajdź rekordy lub Wykonaj kod

Jeśli masz tabelę z danymi, które chcesz sprawdzić, rozważ użycie karty Znajdź rekordy zamiast używania tabeli w KB. Dla osób z wiedzą techniczną, wykonywanie kodu może być jeszcze bardziej opłacalną metodą odpytywania tabeli. Można to zrobić, wykonując zapytanie do tabeli bezpośrednio z karty Wykonaj kod i przechowując dane wyjściowe w zmiennej przepływu pracy, do której można się później odwołać.

Wskazówka 6: Kontroluj kawałki

Mówiąc o fragmentach, mam na myśli liczbę fragmentów, które zostaną pobrane z Bazy Wiedzy w celu wygenerowania odpowiedzi. Ogólnie rzecz biorąc, im więcej pobranych fragmentów, tym dokładniejsza odpowiedź – ale wygenerowanie i koszt większej liczby tokenów AI zajmie więcej czasu. Eksperymentuj z rozmiarem porcji, aby ustalić najniższą ilość, która nadal prowadzi do dokładnych odpowiedzi.

Inteligentniejsze alternatywy dla wiadomości

Jeśli chcesz, aby Twój bot wysyłał inną odpowiedź AI dla tego samego zapytania za każdym razem, musisz zapobiec buforowaniu (zobacz Dodatek, aby dowiedzieć się, jak to zrobić). Istnieją scenariusze, w których wzrost AI Spend może być uzasadniony poprawą doświadczenia konwersacji. Ale nie zawsze tak jest.

Pomyśl o czymś w rodzaju prostego powitania wygenerowanego za pomocą LLMs. Każde powitanie wiąże się z dodatkowym kosztem AI Spend. Czy jest to tego warte? Prawdopodobnie nie. Na szczęście istnieje opłacalne obejście: użyj tablicy z wieloma odpowiedziami i prostą funkcją, aby losowo pobrać wartość i ją zaprezentować. 

W zależności od ilości rozmów, kwota zaoszczędzona dzięki wdrożeniu tej metody może być warta wysiłku.

Więcej szczegółów na temat wdrażania alternatywnych komunikatów można znaleźć tutaj.

Wykonywanie kodu dla prostych zadań

W przypadku prostych zadań, takich jak formatowanie danych lub wyodrębnianie informacji z danych strukturalnych, korzystanie z karty Execute Code może być bardziej wydajne, tańsze i szybsze niż poleganie na LLM.

Alternatywy dla agenta podsumowującego

Kart Execute Code można używać do tworzenia własnych transkrypcji. Umieść kartę Execute Code w dowolnym miejscu, aby śledzić wiadomości użytkowników i botów w zmiennej tablicowej. Następnie można użyć tej tablicy i przekazać ją jako kontekst do KB.

Wybierz odpowiedni model sztucznej inteligencji 

Tak, wybór odpowiedniego modelu sztucznej inteligencji jest tak ważny, że warto wspomnieć o nim dwa razy. Podobnie jak w przypadku KB, wybór modelu sztucznej inteligencji znacząco wpływa na koszty związane z zadaniami sztucznej inteligencji. Wybierz GPT-3.5 Turbo dla mniej skomplikowanych instrukcji. Przed rozważeniem aktualizacji do bardziej zaawansowanych wersji, dokładnie przetestuj swoją konfigurację z tym modelem. Pamiętaj, że GPT-4 Turbo kosztuje 20 razy więcej niż GPT-3.5 Turbo. Jeśli wyniki nie są znacznie lepsze, wybierz GPT-3.5 Turbo.

Oprócz powyższego możesz również oszczędzać wydatki na SI, zmniejszając liczbę tokenów zużywanych w każdym uruchomieniu zadania SI.

Zalecam, aby być świadomym zmniejszania tej liczby, ponieważ spowoduje to obcięcie wszelkich dodatkowych tokenów. Jeśli na przykład ograniczysz długość do 2000 tokenów, a monit i dane wyjściowe są większe niż 2000 tokenów, dane wejściowe zostaną odpowiednio obcięte.

Zadanie AI vs Generowanie tekstu przez AI

W przypadku prostych danych tekstowych karta AI Generate Text wykorzystuje mniej tokenów i jest łatwiejsza w konfiguracji niż karta AI Task. W przypadku zadań obejmujących analizowanie informacji, karta AI Task przewyższa kartę AI Generate Text. 

Dlatego zalecam korzystanie z karty AI Task, gdy chcesz użyć sztucznej inteligencji do przetwarzania informacji (np. jeśli chcesz wykryć intencję użytkownika lub jeśli chcesz, aby sztuczna inteligencja przeanalizowała dane wejściowe). Ale jeśli chcesz wykorzystać sztuczną inteligencję do generowania tekstu, użyj zamiast tego karty AI Generate Text (np. jeśli chcesz wziąć odpowiedź KB i rozwinąć ją lub jeśli chcesz kreatywnie wygenerować pytanie).

Więcej informacji na temat różnic między kartą AI Task i kartą AI Generate Text można znaleźć tutaj.

Tłumaczenia

Jeśli twój bot będzie obsługiwał dużą liczbę wielojęzycznych konwersacji, rozważ integrację haków z zewnętrznymi usługami tłumaczeniowymi, aby uzyskać bardziej opłacalną opcję.

Więcej informacji na temat haków można znaleźć tutaj.