تلقيت مؤخرًا بريدًا إلكترونيًا من باحث موهوب يسأل عن كيفية تفاعل Botpress مع LLMs.
كان يكتب ورقة بحثية عن تجنب الانغلاق على البائعين، وأراد أن يعرف ما إذا كنا ربما نستخدم إطار عمل مثل LangChain أو Haystack.
لقد كان من دواعي سروري أن أطلعه على أننا أنشأنا تجريداتنا الخاصة التي تسمح لبناة Botpress بالتفاعل مع LLMs.
نظرًا للاهتمام الواسع بالموضوع، أردت أن أجعل هذه المعلومات عامة. قد تكون مفيدة للمطورين الآخرين أو لمستخدمي منصتنا. آمل أن تجده مثيرًا للاهتمام كما وجدتُ أنا في إنشائه.
طريقتين Botpress واجهات مع LLMs
Botpress أنشأ تجريداته الخاصة به التي تعمل بطريقتين:
1. عمليات الدمج
تحتوي التكاملات على مفهوم الإجراءات التي لها أنواع محددة من المدخلات والمخرجات.
لدينا مكونات مفتوحة المصدر على المنصة، بحيث يمكن للمجتمع إنشاء عمليات التكامل الخاصة به والتي يمكن أن تكون إما خاصة أو متاحة للاستخدام العام.
لذا LLM مقدمي الخدمات - OpenAI ، أنثروبيك، جروك، إلخ. - كل منها لديه تكامل. هذه إحدى الطرق التي يمكن لمستخدمينا التفاعل معهم.
2. LLM واجهات التكامل
علاوة على مفهوم التكامل، أضفنا "الواجهات".
هذه ببساطة تعريفات مخطط قياسية يمكن للتكاملات توسيعها. لقد أنشأنا مخططًا قياسيًا لـ LLMs.
وطالما أن التكامل يوسع هذا المخطط، فإن التكامل يعتبر موفر LLM . لذا فهو يعمل خارج الصندوق في Botpress.
فيما يلي بعض الأمثلة على عمليات التكامل Botpress لمزودي LLM المختلفين:
لدينا واجهات مماثلة لـ text2image، و image2image، و image2text، و voice2text، و text2voice، إلخ.
تكوينات النموذج
داخل Botpress Studio، لدينا تكوينان عامان: "أفضل نموذج" و "النموذج الأفضل" و "النموذج السريع". وجدنا أن معظم المهام بشكل عام تناسب بسهولة أحد هذين الوضعين.
ولكن بالإضافة إلى مجرد اختيار النموذج البحت، وجدنا أن المزودين المختلفين اختلفوا كثيرًا في استدعاء الأدوات وتنسيقات الرسائل بحيث لا يمكن تبديل نموذج إلى آخر بسهولة وتوقع أداء جيد.
محرك الاستدلال Botpress
وبسبب ذلك، أنشأنا محرك الاستدلال الخاص بنا المسمى LLMz، والذي يعمل مع أي نموذج دون الحاجة إلى تغيير سريع (أو بأقل قدر ممكن). ويوفر أداة استدعاء أفضل بكثير وأداءً أفضل بكثير في كثير من الأحيان من حيث تكلفة الرمز المميز و LLM الرحلات الدورية.
يعمل هذا المحرك مع أنواع المخطوطات خلف الكواليس لتعريفات الأداة، وعلامات لتنسيق إخراج الرسائل والرموز، وصندوق رمل للتنفيذ LLM-أصلي للاستدلال.
يوفر LLMz العديد من التحسينات وميزات تصحيح الأخطاء المطلوبة لحالات الاستخدام المتقدمة مثل:
- ضغط رموز الإدخال
- اقتطاع الرمز المميز الذكي
- الذاكرة المحسّنة للرمز الرمزي إلى السياق
- استدعاء الأدوات المتوازية والمركبة
- مزيج من الرسائل المتعددة + استدعاءات الأدوات في مكالمة واحدة LLM
- أدوات آمنة النوع بالكامل (الإدخال والإخراج)
- جلسات طويلة الأمد من خلال تسلسل صندوق الرمل
- أدوات الاستهزاء والتغليف والتغليف والتتبع
- عزل كامل للتنفيذ في عزل V8 خفيف الوزن (يسمح بتشغيل آلاف عمليات التنفيذ المتزامنة بسرعة وبتكلفة زهيدة جدًا)
- التكرار التلقائي واستعادة الأخطاء تلقائياً
كل هذه الأشياء كانت ضرورية لحالات استخدامنا. ولكن كان من المستحيل أو من الصعب جدًا القيام بها باستخدام أدوات الاستدعاء العادية.
الحالة ضد نماذج أجهزة التوجيه خفيفة الوزن
لقد فكرنا منذ فترة طويلة في بناء نموذج موجه خفيف الوزن يوضع فوق النماذج الموجودة ويختار تلقائيًا النموذج المناسب للمهمة المطروحة.
لكننا قررنا عدم القيام بذلك لأسباب متعددة:
1. إمكانية التنبؤ
يرغب معظم عملائنا - وهذا أمر مفهوم - في الحصول على نتائج موثوقة ويمكن التنبؤ بها.
لذا فإن فكرة موجه النموذج الديناميكي مخيفة بعض الشيء للوكلاء رفيعي المستوى. فهي تجلب طبقة أخرى من عدم القدرة على التنبؤ LLMs.
2. السرعة
الكمون مهم جداً لحالات استخدامنا. لكي يكون الموجه سريعًا، يجب أن يكون النموذج صغيرًا جدًا (ويمكن القول إنه أغبى) من النماذج التي سيوجه إليها - ربما مصنف تقليدي.
في حين أن أداءها جيد بشكل عام عندما يتم تدريبها على مهام محددة، أ) فإن أحجام سياقاتها القصيرة تمثل مشكلة بالنسبة للمطالبات الطويلة و ب) تفشل في التعميم على مطالبات أخرى خارج ما تم تدريبها عليه.
3. نموذج التفوق النموذجي أو نموذج المساواة
على الرغم من أن المعايير قد تقول خلاف ذلك، إلا أننا نادراً ما رأينا في الواقع نماذج تتفوق على GPT-4o (حتى الآن).
لا يزال من غير الواضح ما إذا كان أداء LLMs سيكون أفضل حقًا في المهمة (س) من أداء المهمة (ص) بمرور الوقت، أو إذا كان كل LLMs سينتهي به الأمر إلى أن يكون جيدًا للغاية في معظم الأشياء. في الحالة الأخيرة، لن يكون انتقاء النماذج يستحق الجهد المبذول.
التدقيق المستقبلي LLMs مع التغذية الراجعة
LLMs ستصبح سلعة في غضون سنوات قليلة ولن يكون اختيار الطرازات أمرًا مهمًا حقًا.
لهذه الأسباب، قررنا أن نستثمر جهدنا في توفير آلية جيدة لتزويد LLMs بالأمثلة.
لذلك قمنا ببناء نظام لالتقاط الملاحظات. يقوم بتخزين "الدروس المستفادة" لعمليات التنفيذ المستقبلية. ويوفر بشكل ديناميكي أكثر الدروس المستفادة ذات الصلة في الوقت المناسب لعمليات التنفيذ المستقبلية، من أجل ضمان التحسينات الموثوقة والمستمرة بمرور الوقت.
مع تطور كل LLMs نحو أداء أعلى وأعلى، نحن مستعدون ومتحمسون لتحقيق أقصى استفادة منها لمستخدمي منصتنا.
.svg)
