Wie man die Kosten für AI-Ausgaben optimiert Botpress

Viele Unternehmen stehen vor der Herausforderung, das Potenzial von KI-Technologien zu nutzen, ohne zu viel Geld auszugeben. Wir wissen, wie wichtig dieses Gleichgewicht ist, und setzen uns dafür ein, Lösungen anzubieten, die es unseren Nutzern ermöglichen, KI kosteneffizient zu nutzen.

Unser Ansatz für AI Kosten

Zunächst ist es wichtig, zwei wichtige Komponenten zu verstehen, wie wir die KI-bezogenen Kosten für unsere Nutzer reduzieren und gleichzeitig die Vorteile der KI-Funktionen bieten.

Transparente Preisgestaltung: Keine versteckten Gebühren

Wir erheben keine Margen auf KI-bezogene Aufgaben. Das bedeutet, dass die Kosten für Ihre KI-Ausgaben direkt mit Ihrer tatsächlichen Nutzung zusammenhängen, ohne zusätzliche KI-Gebühren von unserer Seite. Sie können unseren KI-Ausgaben-Rechner verwenden, um Ihre potenziellen KI-Ausgaben mit uns zu schätzen.

Caching von AI-Antworten

Die Zwischenspeicherung ist eine unserer effektivsten Strategien zur Senkung der KI-Kosten von Bots. Durch das Zwischenspeichern von KI-Antworten reduzieren wir die Anzahl der Anfragen an den Anbieter LLM , was die Kosten für Abfragen um etwa 30 % senken kann, ohne die Qualität der Interaktionen des Bots mit Ihren Nutzern zu beeinträchtigen.

Tipps zur Optimierung der AI-Kosten

Nachdem wir nun zwei unserer Ansätze zur Senkung der KI-Ausgaben unserer Nutzer kennengelernt haben, wollen wir uns nun Tipps ansehen, die Sie bei der Entwicklung Ihres Bots anwenden können, um seine KI-Kosten weiter zu senken.

Optimieren Sie Ihre Wissensdatenbanken

Die Optimierung Ihrer Wissensdatenbanken (Knowledge Bases, KBs) kann Ihre KI-Ausgaben erheblich beeinflussen, da KBs in der Regel der größte KI-Kostentreiber in einem Botpress Projekt sind.

Tipp 1: Wählen Sie das richtige AI-Modell

Die Wahl eines KI-Modells wirkt sich erheblich auf die Kosten aus. Da GPT-3.5 Turbo schneller und preiswerter ist als GPT-4 Turbo, empfehlen wir, Ihre Einrichtung mit GPT-3.5 Turbo gründlich zu testen, bevor Sie ein Upgrade auf eine fortschrittlichere Version in Betracht ziehen. 

Unser KB-Agent-Hybridmodus bietet einen hervorragenden Mittelweg, da wir zunächst GPT-3.5 Turbo verwenden, um eine Antwort auf eine Anfrage zu versuchen, und nur bei Bedarf zu GPT-4 Turbo eskalieren.

Tipp 2: Schützen Sie Ihre KB

Sie können Ihre KI-Ausgaben reduzieren, indem Sie Ihre KB von unnötigen typischen FAQs abschirmen, die keine KI oder intelligente Beantwortung benötigen, und zwar mit einer Karte "Find Records". So funktioniert es: Wenn Sie wissen, dass die Nutzer typischerweise eine Frage stellen, und wir 50 bekannte Fragen mit ihren Antworten haben, können wir sie einer Tabelle hinzufügen und diese Tabelle mit einer Karte "Find Records" abfragen. Falls wir keine Antwort finden, suchen wir erst dann in einer KB.

Tipp 3: Richtiges Ausmessen der KBs

Je nach Art der Informationen und der Menge der Informationen, die Sie einem KB hinzufügen möchten, ist es in der Regel am besten, zwei Dinge parallel zu tun, um die Kosten für KI-Spenden zu senken. Erstens: Organisieren Sie Ihre Informationen in kleinere KBs, wobei jede KB auf ein bestimmtes Produkt/Feature/Thema ausgerichtet ist. Zweitens: Führen Sie den Benutzer durch einen Workflow mit mehreren Fragen, um die Suche auf eine bestimmte KB einzugrenzen; das senkt nicht nur die Kosten, sondern liefert auch bessere Ergebnisse.

Tipp 4: Website-KB-Datenquelle vs. Suche im Web-KB-Datenquelle

Wenn Sie eine Website als KB-Datenquelle verwenden, aber keine ständigen Änderungen an der Website vornehmen, die in Echtzeit an Ihren Bot weitergegeben werden müssen, ist es eine gute und kostengünstige Alternative, die Web-Suche als KB-Datenquelle anstelle der Website-KB-Datenquelle zu verwenden. Testen Sie vor der Umstellung, ob die Leistung bei den Fragen, die Sie voraussichtlich stellen werden, durch die Umstellung nicht beeinträchtigt wird.

Tipp 5: Abfragen von Tabellen mit der Karte "Datensätze suchen" oder "Code ausführen".

Wenn Sie eine Tabelle mit Daten haben, die Sie abfragen möchten, sollten Sie die Karte Datensätze suchen verwenden, anstatt die Tabelle in einer KB zu verwenden. Für diejenigen, die über technisches Know-how verfügen, kann die Ausführung von Code eine noch kostengünstigere Methode zur Abfrage einer Tabelle sein. Dies geschieht, indem Sie die Tabelle direkt von der Karte Code ausführen aus abfragen und die Ausgabe in einer Workflow-Variablen speichern, auf die Sie später Bezug nehmen können.

Tipp 6: Kontrollieren Sie die Chunks

Mit Chunks beziehe ich mich auf die Anzahl der Chunks, die aus der Wissensdatenbank abgerufen werden, um eine Antwort zu generieren. Im Allgemeinen gilt: Je mehr Chunks abgerufen werden, desto genauer ist die Antwort – aber es wird länger dauern, mehr KI-Token zu generieren und zu kosten. Experimentieren Sie mit der Blockgröße, um den niedrigsten Wert zu ermitteln, der dennoch zu genauen Antworten führt.

Verwenden Sie die Execute Code Card, um die Kosten für AI-Ausgaben zu senken.

Die Karte "Code ausführen" kann ein geeigneter, kostengünstiger Ersatz für einige KI-Karten sein. Hier sind ein paar Szenarien, in denen Sie sie einsetzen können:

Smarter Message-Alternativen

Wenn Sie möchten, dass Ihr Bot jedes Mal eine andere KI-Antwort auf dieselbe Anfrage sendet, müssen Sie die Zwischenspeicherung verhindern (siehe Anhang, um zu erfahren, wie). Es gibt Szenarien, in denen die Erhöhung der KI-Ausgaben durch die Verbesserung der Konversationserfahrung gerechtfertigt werden kann. Dies ist jedoch nicht immer der Fall.

Denken Sie an eine einfache Begrüßung, die mit LLMs erstellt wird. Bei jeder Begrüßung entstehen Ihnen zusätzliche Kosten für AI Spend. Ist es das wert? Wahrscheinlich nicht. Zum Glück gibt es eine kostengünstige Lösung: Verwenden Sie ein Array mit mehreren Antworten und eine einfache Funktion, die zufällig einen Wert abruft und ihn präsentiert. 

Je nach Gesprächsaufkommen kann sich die Einsparung durch diese Methode durchaus lohnen.

Weitere Einzelheiten zur Implementierung alternativer Nachrichten finden Sie hier.

Code-Ausführung für einfache Aufgaben

Für einfache Aufgaben wie die Neuformatierung von Daten oder die Extraktion von Informationen aus strukturierten Daten kann die Verwendung der Execute Code Card effizienter, kostengünstiger und schneller sein als die Verwendung einer LLM.

Alternativen zur Zusammenfassenden Meldung

Sie können Execute Code-Karten verwenden, um Ihr eigenes Transkript zu erstellen. Platzieren Sie eine Execute Code-Karte dort, wo Sie die Nachricht der Nutzer und des Bots in einer Array-Variablen verfolgen möchten. Anschließend können Sie dieses Array verwenden und es als Kontext in Ihre KB einspeisen.

Vereinfachen, wenn möglich

Entscheiden Sie sich für die einfachere Interaktionsmethode, die das gleiche Ziel erreicht, ohne die Benutzererfahrung zu beeinträchtigen. Wenn Sie z. B. daran interessiert sind, Nutzerfeedback zu sammeln, ist ein einfaches Sterne-Bewertungssystem mit Kommentaren kosteneffizienter als der Einsatz von KI, um dieselben Informationen zu sammeln.

Tipps für KI-Aufgaben, KI-Texterzeugung und Übersetzungen

Wählen Sie das richtige AI-Modell 

Ja, die Wahl des richtigen KI-Modells ist so wichtig, dass sie zweimal erwähnt werden sollte. Ähnlich wie bei KBs wirkt sich die Wahl des KI-Modells auch bei KI-Aufgaben erheblich auf die Kosten aus. Entscheiden Sie sich für GPT-3.5 Turbo für weniger komplizierte Anweisungen. Bevor Sie ein Upgrade auf fortgeschrittenere Versionen in Erwägung ziehen, sollten Sie Ihr System mit diesem Modell gründlich testen. Denken Sie daran, dass GPT-4 Turbo 20 Mal mehr kostet als GPT-3.5 Turbo. Wenn die Ergebnisse nicht wesentlich besser sind, entscheiden Sie sich für GPT-3.5 Turbo.

Darüber hinaus können Sie auch KI-Ausgaben sparen, indem Sie die Anzahl der Token reduzieren, die bei jeder Ausführung von KI-Aufgaben verbraucht werden.

Meine Empfehlung ist, sich bewusst zu sein, diese Zahl zu verringern, da dies dazu führt, dass alle zusätzlichen Token abgeschnitten werden. Wenn Sie beispielsweise die Länge auf 2000 Token beschränken und Ihre Eingabeaufforderung plus Ihre Ausgabe mehr als 2000 Token beträgt, wird Ihre Eingabe entsprechend abgeschnitten.

AI Aufgabe vs. AI Text generieren

Für einfache Textausgaben verwendet die Karte AI Generate Text weniger Token und ist einfacher einzurichten als die Karte AI Task. Bei Aufgaben, die das Parsen von Informationen beinhalten, übertrifft die AI Task-Karte die AI Generate Text-Karte. 

Daher empfehle ich, die Karte KI-Aufgabe zu verwenden, wenn Sie KI zur Verarbeitung von Informationen einsetzen möchten (z. B. wenn Sie die Absicht des Benutzers erkennen oder die KI die Eingabe analysieren soll). Wenn Sie jedoch KI zur Generierung von Text einsetzen möchten, verwenden Sie stattdessen die Karte KI-Text generieren (z. B. wenn Sie eine KB-Antwort nehmen und sie erweitern oder eine Frage kreativ generieren möchten).

Einen tieferen Einblick in die Unterschiede zwischen der KI-Aufgabenkarte und der KI-Text-Erzeugungskarte erhalten Sie hier.

Übersetzungen

Wenn Ihr Bot eine große Anzahl mehrsprachiger Konversationen bearbeiten soll, sollten Sie die Integration von Hooks in externe Übersetzungsdienste in Betracht ziehen, um eine kostengünstigere Option zu erhalten.

Weitere Informationen über Haken finden Sie hier.

Schlussfolgerung

Mit diesen Strategien und Tipps werden Sie in der Lage sein, Ihre KI-Ausgaben unter Botpress zu optimieren. Wenn Sie die Auswirkungen der verschiedenen Aufgaben auf die Kosten verstehen und die effizientesten Methoden für Ihre Bedürfnisse wählen, können Sie Ihre KI-bezogenen Ausgaben ohne Leistungseinbußen reduzieren.

Unser Team hilft Ihnen bei der Navigation durch diese Optionen und stellt sicher, dass Ihr Bot Ihren Nutzern die bestmögliche Erfahrung zu den effizientesten Kosten bietet. Besuchen Sie unsere Preisseite für weitere Informationen oder besuchen Sie unseren Discord Server für Hilfe.

Anhang

Wie man Caching verhindert

Wenn Sie die Zwischenspeicherung überwinden wollen, um immer Live-Ergebnisse zu erhalten, können Sie eine der folgenden Optionen wählen:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• Zur vorübergehenden Verhinderung des Caching: Veröffentlichen Sie Ihren Bot und testen Sie ihn in einem Inkognito-Fenster.

Hinweis: Wenn Sie diese Zwischenspeicherschicht entfernen und keine anderen Änderungen an Ihrem Bot vornehmen, erhöhen sich die Kosten für KI-Ausgaben, wenn alles gleich bleibt.

Empfohlene Kurse

• ‍ChatGPT Prompt Engineering für Entwickler (auch wenn der Titel "für Entwickler" lautet, profitieren auch Nicht-Entwickler davon!)
• ‍Aufbau vonSystemen mit der ChatGPT API