كيفية تحسين تكلفة الإنفاق الذكاء الاصطناعي في Botpress

نصيحة 1: اختر نموذج الذكاء الاصطناعي المناسب

يؤثر اختيار نموذج الذكاء الاصطناعي بشكل كبير على التكلفة. نظرًا لأن GPT-3.5 Turbo أسرع وأرخص من GPT-4 Turbo، فإننا نوصي باختبار إعدادك بدقة باستخدام GPT-3.5 Turbo قبل التفكير في الترقية إلى إصدارات أكثر تقدمًا. 

يوفر الوضع الهجين لوكيل KB الخاص بنا حلًا وسطًا ممتازًا، حيث نستخدم في البداية GPT-3.5 Turbo لمحاولة الرد على استعلام ما ونقوم بالتصعيد إلى GPT-4 Turbo فقط إذا لزم الأمر.

نصيحة 2: حماية KB الخاص بك

يمكنك تقليل إنفاقك على الذكاء الاصطناعي عن طريق حماية قاعدة المعارف من الأسئلة الشائعة النموذجية غير الضرورية التي لا تحتاج إلى إجابة الذكاء الاصطناعي أو ذكية باستخدام بطاقة البحث عن السجلات. هذه هي الطريقة التي يعمل بها: إذا كنت تعلم أن المستخدمين عادة ما يطرحون سؤالا واحدا ولدينا 50 سؤالا معروفا مع إجاباتهم ، فيمكننا إضافتها إلى جدول والاستعلام عن هذا الجدول باستخدام بطاقة البحث عن السجلات. في حالة عدم العثور على إجابة ، عندها فقط ننظر في KB.

نصيحة 3: تحديد نطاق KBS الخاص بك بشكل صحيح

استنادا إلى نوع المعلومات وكمية المعلومات التي تريد إضافتها إلى قاعدة المعارف ، من الأفضل عادة القيام بأمرين بالتوازي لخفض تكلفة الإنفاق الذكاء الاصطناعي. أولا ، قم بتنظيم معلوماتك في كيلوبايت أصغر ، مع تحديد نطاق كل كيلوبايت لمنتج / ميزة / موضوع معين. ثانيا ، قم بتوجيه المستخدم من خلال سير عمل مع أسئلة متعددة لتحديد نطاق بحثك إلى قاعدة معارف معينة ؛ لن يؤدي ذلك إلى تقليل التكلفة فحسب ، بل سيؤدي أيضا إلى نتائج أفضل.

نصيحة 4: مصدر بيانات قاعدة معارف موقع الويب مقابل البحث في مصدر بيانات قاعدة المعارف على الويب

إذا كنت تستخدم موقع ويب كمصدر بيانات قاعدة المعارف ولكنك لا تجري تغييرات مستمرة على موقع الويب الذي يجب أن ينعكس على الروبوت الخاص بك في الوقت الفعلي ، فإن البديل الجيد الفعال من حيث التكلفة هو استخدام البحث في الويب كمصدر بيانات قاعدة المعارف بدلا من مصدر بيانات قاعدة المعارف لموقع الويب. قبل إجراء هذا الانتقال ، تأكد من اختبار أن الأداء على الأسئلة التي تتوقع طرحها لا يتدهور مع هذا التبديل.

نصيحة 5: جداول الاستعلام مع البحث عن السجلات أو بطاقة تنفيذ التعليمات البرمجية

إذا كان لديك جدول يحتوي على بيانات تريد الاستعلام عنها، ففكر في استخدام بطاقة البحث عن السجلات بدلا من استخدام الجدول في قاعدة معارف. بالنسبة لأولئك الذين لديهم خبرة فنية ، يمكن أن يكون تنفيذ التعليمات البرمجية طريقة أكثر فعالية من حيث التكلفة للاستعلام عن جدول. يمكنك القيام بذلك عن طريق الاستعلام عن الجدول مباشرة من بطاقة تنفيذ التعليمات البرمجية وتخزين الإخراج في متغير سير عمل يمكنك الرجوع إليه لاحقا.

نصيحة 6: السيطرة على القطع

من خلال القطع ، أشير إلى عدد القطع التي سيتم استردادها من قاعدة المعرفة لإنشاء إجابة. بشكل عام ، كلما زاد عدد القطع المستردة ، زادت دقة الإجابة - ولكن الأمر سيستغرق وقتا أطول لإنشاء وتكلفة المزيد من الرموز الذكاء الاصطناعي. جرب حجم القطعة لتحديد أقل كمية لا تزال تؤدي إلى استجابات دقيقة.

بدائل رسائل أكثر ذكاء

إذا كنت تريد أن يرسل الروبوت استجابة الذكاء الاصطناعي مختلفة لنفس الاستعلام في كل مرة ، فيجب عليك منع التخزين المؤقت (انظر الملحق لمعرفة كيفية القيام بذلك). هناك سيناريوهات يمكن فيها تبرير الزيادة في الإنفاق الذكاء الاصطناعي من خلال تحسين تجربة المحادثة. لكن هذا ليس هو الحال دائما.

فكر في شيء مثل تحية بسيطة يتم إنشاؤها باستخدام LLMs. مع كل تحية ستتحمل تكلفة إضافية للإنفاق بالذكاء الاصطناعي. هل يستحق الأمر ذلك؟ ربما لا. لحسن الحظ، هناك حل بديل فعال من حيث التكلفة: استخدم مصفوفة ذات استجابات متعددة ودالة بسيطة لجلب قيمة عشوائيًا وتقديمها. 

اعتمادا على حجم المحادثة ، يمكن أن يكون المبلغ الذي توفره من خلال تنفيذ هذه الطريقة يستحق الجهد المبذول.

يمكنك العثور على مزيد من التفاصيل حول كيفية تنفيذ الرسائل البديلة هنا.

تنفيذ التعليمات البرمجية للمهام البسيطة

بالنسبة للمهام البسيطة، مثل إعادة تهيئة البيانات أو استخراج المعلومات من البيانات المهيكلة، يمكن أن يكون استخدام بطاقة تنفيذ التعليمات البرمجية أكثر كفاءة وأرخص وأسرع من الاعتماد على LLM.

بدائل وكيل الملخص

يمكنك استخدام بطاقات تنفيذ التعليمات البرمجية لإنشاء النص الخاص بك.  ضع بطاقة Execute Code أينما تريد تتبع رسالة المستخدمين والروبوت في متغير صفيف. بعد ذلك ، يمكنك استخدام هذه المصفوفة وإطعامها كسياق لقاعدة المعارف الخاصة بك.

اختر الطراز الذكاء الاصطناعي المناسب 

نعم، اختيار نموذج الذكاء الاصطناعي المناسب مهم جدًا لدرجة أنه يستحق الذكر مرتين. على غرار KBs، يؤثر اختيار نموذج الذكاء الاصطناعي بشكل كبير على التكلفة عندما يتعلق الأمر بمهام الذكاء الاصطناعي. اختر GPT-3.5 Turbo للحصول على تعليمات أقل تعقيدًا. قبل التفكير في الترقية إلى إصدارات أكثر تقدمًا، اختبر إعدادك بدقة باستخدام هذا النموذج. تذكر، GPT-4 Turbo يكلف 20 ضعفًا أكثر من GPT-3.5 Turbo. ما لم تكن النتائج أفضل بكثير، اختر GPT-3.5 Turbo.

بالإضافة إلى ما سبق، يمكنك أيضا الحفاظ على إنفاق الذكاء الاصطناعي عن طريق تقليل عدد الرموز المميزة المستهلكة في كل الذكاء الاصطناعي تشغيل المهمة.

توصيتي هي أن تكون مدركا لتقليل هذا الرقم لأنه سيؤدي إلى اقتطاع أي رموز إضافية. على سبيل المثال ، إذا قمت بتحديد الطول إلى 2000 رمز مميز وكانت مطالبتك بالإضافة إلى مخرجاتك أكثر من 2000 رمز مميز ، اقتطاع الإدخال وفقا لذلك.

الذكاء الاصطناعي المهمة مقابل الذكاء الاصطناعي إنشاء نص

بالنسبة للمخرجات النصية البسيطة ، تستخدم بطاقة الذكاء الاصطناعي Generate Text عددا أقل من الرموز المميزة وأسهل في الإعداد من بطاقة المهام الذكاء الاصطناعي. بالنسبة للمهام التي تتضمن تحليل المعلومات، تتفوق بطاقة مهمة الذكاء الاصطناعي على بطاقة إنشاء نص الذكاء الاصطناعي. 

لذلك ، توصيتي هي استخدام بطاقة الذكاء الاصطناعي Task عندما تريد استخدام الذكاء الاصطناعي لمعالجة المعلومات (على سبيل المثال ، إذا كنت تريد اكتشاف نية المستخدم أو إذا كنت تريد أن يقوم الذكاء الاصطناعي بتحليل الإدخال). ولكن ، إذا كنت ترغب في الاستفادة من الذكاء الاصطناعي لإنشاء نص ، فاستخدم بطاقة الذكاء الاصطناعي إنشاء نص بدلا من ذلك (على سبيل المثال ، إذا كنت تريد أخذ إجابة KB وتوسيعها أو إذا كنت تريد إنشاء سؤال بشكل إبداعي).

للتعمق أكثر في الاختلافات بين بطاقة مهمة الذكاء الاصطناعي وبطاقة توليد النص بالذكاء الاصطناعي، تعرف على المزيد هنا.

تراجم

إذا كان الروبوت الخاص بك سيتعامل مع عدد كبير من المحادثات متعددة اللغات ، ففكر في دمج الخطافات مع خدمات الترجمة الخارجية للحصول على خيار أكثر فعالية من حيث التكلفة.

يمكنك العثور على مزيد من المعلومات حول الخطافات هنا.