كيفية اختيار LLM مخصص لمشروع الذكاء الاصطناعي الخاص بك

LLMs تغير طريقة بناء حلول الذكاء الاصطناعي. يتم إصدار نماذج أحدث وأفضل من النماذج الجاهزة طوال الوقت. 

السؤال الذي كثيراً ما يُطرح عليّ هو لماذا يجب أن يختار شخص ما LLM مخصصاً بدلاً من حل جاهز؟

إذا كنت تعمل على مشروع ذكاء اصطناعي، مثل بناء وكيل ذكاء اصطناعي أو ذكاء اصطناعي chatbot ، فقد تختار استخدام نموذج لغوي كبير مخصص (LLM).

هناك الكثير من الأسباب التي تجعلك تستخدم أداة LLM مخصصة لوكيلLLM الخاص بك، والكثير من الخيارات المتاحة لك. في هذه المقالة، سأطلعك على الطرق المختلفة لتخصيص LLM لمشاريع الذكاء الاصطناعي.

لماذا استخدام LLM مخصص ؟

هناك عدة أسباب لاستخدام LLM:

• أنت تريد تقليل التكاليف من خلال التركيز على مهمة معينة مهمة لحالة استخدام عملك، أو تقليل زمن الاستجابة. 
• قد ترغب في الحفاظ على خصوصية جميع البيانات، أو استخدام شركتك الداخلية LLM. 
• قد ترغب في تحسين جودة الإجابات لمهمة معينة. 

مهما كان السبب، يتيح لك تخصيص LLM تحسين الأداء والموازنة بين الدقة والسرعة والتكلفة بما يتناسب مع احتياجات عملك.

اختيار LLM

LLMs لها صفتان تؤثران على مشاريع الذكاء الاصطناعي: حجمها (يقاس بعدد المعلمات)، وجودة الاستجابات.

يمكنك التفكير في المعلمات مثل الخلايا العصبية في الدماغ. فغالبًا ما يرتبط الدماغ الأكبر حجمًا بالذكاء، ولكن هذا ليس صحيحًا دائمًا. ويمكن تحسين أجزاء من الدماغ بشكل كبير لمهام معينة مثل الرؤية. 

بالنسبة لمشاريع الذكاء الاصطناعي، يؤثر الحجم عادةً على سرعة الاستجابة، ويؤثر بشكل كبير على تكلفة الاستجابات. غالبًا ما تستخدم المشاريع التي تتطلب وقت استجابة منخفضًا نماذج أصغر، ولكن على حساب جودة الاستجابات.

ما الذي يجب أن تسأل عنه عند اختيار نموذج

إليك قائمة جيدة بالأسئلة التي يجب أن تكون قادراً على الإجابة عنها عند اختيار الطراز:

• هل يمكنني استخدام خدمة سحابية LLM أم أحتاج إلى استضافة واحدة بنفسي؟
• ما مدى السرعة التي أحتاجها في الردود؟
• ما مدى الدقة التي أحتاجها في الردود؟
• ما هو المبلغ الذي سيوفره و/أو يدره مشروعي؟ ثم، ما هو السعر الذي يجب أن ينخفض عنه؟
• كم من الوقت أحتاج إلى أن تكون إجاباتي طويلة؟

بشكل عام، من الصعب بشكل عام تسريع نموذج قوي أو تقليل تكاليفه، ومن الأسهل تحسين نموذج أقل دقة. 

ومع ذلك، فإنه من الأسرع بكثير البدء بنموذج قوي، وإذا كان يفي باحتياجات مشروعك، فقد لا تحتاج إلى الكثير من الجهد الهندسي (بالإضافة إلى أنه من الأسهل الحفاظ عليه).

الاختيار بين RAG، والضبط الدقيق، والتعلم من خلال اللقطة N، والهندسة السريعة

هناك خمسة مفاهيم عامة تعمل على تحسين جودة الاستجابات LLM : 

1. البدء من نموذج مدرب مسبقاً
2. RAG
3. الضبط الدقيق
4. المطالبة بـ N- اللقطة
5. الهندسة الفورية

هذه ليست خاصة باستخدام النماذج المخصصة، ولكن يجب عليك أخذها في الاعتبار بغض النظر عن ذلك، حيث تعمل جنباً إلى جنب مع بعضها البعض.

البدء من نموذج

أول شيء يجب عليك فعله هو اختيار طراز البداية. هناك الكثير من لوحات المتصدرين على الإنترنت التي تقارن بين الطرازات المختلفة.

على سبيل المثال:

• تحتفظ Hugging Face بلوحة صدارة للنماذج مفتوحة المصدر.
• لدى Vellum نموذج ممتاز للموديلات الأكثر شعبية.

إذا كان لدى شركتك نموذج داخلي، ففكر في استخدامه للعمل مع ميزانيتك والحفاظ على خصوصية البيانات. إذا كنت بحاجة إلى استضافة النموذج بنفسك، ففكر في نموذج مفتوح المصدر.

الضبط الدقيق 

يتضمن الضبط الدقيق تقديم أمثلة لنموذجك حتى يتعلم كيفية القيام بمهمة معينة بشكل جيد. إذا كنت تريده أن يتفوق في التحدث عن منتجك، فيمكنك تقديم مجموعة من الأمثلة لأفضل مكالمات المبيعات في شركتك.

إذا كان النموذج مفتوح المصدر، اسأل نفسك ما إذا كان فريقك لديه القدرة الهندسية الكافية لضبط النموذج.

إذا كان النموذج مغلق المصدر ويتم توفيره كخدمة - GPT-4 أو كلود - فيمكنك عادةً أن تطلب من مهندسيك ضبط النماذج المخصصة باستخدام واجهات برمجة التطبيقات. وعادةً ما يرتفع السعر بشكل كبير من خلال هذه الطريقة، ولكن الصيانة قليلة أو معدومة. 

ولكن بالنسبة للعديد من حالات الاستخدام، لا يعد الضبط الدقيق الخطوة الأولى نحو تحسين نموذجك. 

من الحالات الرائعة للضبط الدقيق بناء روبوت معرفي للمعرفة الثابتة. من خلال إعطاء أمثلة للأسئلة والأجوبة، يجب أن يكون قادرًا على الإجابة عليها في المستقبل دون البحث عن الإجابة. ولكنه ليس حلاً عملياً للمعلومات في الوقت الحقيقي. 

الجيل المعزز للاسترجاع

RAG هو اسم منمق لشيء بسيط قمنا به جميعًا في ChatGPT: لصق بعض النصوص في ChatGPT وطرح سؤال عنها. 

من الأمثلة النموذجية على ذلك السؤال عما إذا كان هناك منتج معين متوفر على موقع للتجارة الإلكترونية، و chatbot البحث عن المعلومات في كتالوج المنتج (بدلاً من الإنترنت الأوسع). 

فيما يتعلق بسرعة التطوير، والحصول على المعلومات في الوقت الفعلي، فإن RAG أمر لا بد منه. 

لا يؤثر عادةً على النموذج الذي ستختاره، ومع ذلك لا شيء يمنعك من إنشاء نقطة نهاية LLM API تستعلم عن المعلومات والإجابات واستخدام نقطة النهاية هذه كما لو كانت نقطة النهاية هذه LLM. 

غالبًا ما يكون استخدام RAG لـ chatbot أسهل في الصيانة، حيث لا تحتاج إلى ضبط النموذج وتحديثه باستمرار - مما قد يقلل أيضًا من التكاليف.

تعلم اللقطة ن 

إن أسرع طريقة للبدء في تحسين جودة الاستجابات هي تقديم أمثلة في مكالمة واحدة لواجهة برمجة التطبيقات LLM . 

اللقطة الصفرية - إعطاء صفر من الأمثلة على ما تبحث عنه في الإجابة - هي الطريقة التي يستخدمها معظمنا ChatGPT. عادةً ما تكون إضافة مثال واحد (أو لقطة واحدة) كافية لرؤية تحسن كبير في جودة الإجابة. 

يُعتبر أكثر من مثال واحد هو n-shot. لا يغير N-shot النموذج، على عكس الضبط الدقيق. أنت ببساطة تعطي أمثلة قبل طلب الإجابة مباشرة، في كل مرة تطرح فيها سؤالاً. 

لكن لا يمكن الإفراط في استخدام هذه الاستراتيجية: LLM النماذج لها حد أقصى لحجم السياق، ويتم تسعيرها وفقًا لحجم الرسالة. يمكن للضبط الدقيق أن يزيل الحاجة إلى أمثلة اللقطة ن، ولكنه يستغرق وقتًا أطول للحصول على الشكل الصحيح. 

تقنيات هندسية سريعة أخرى

هناك تقنيات هندسية سريعة أخرى، مثل تسلسل الأفكار، والتي تجبر النماذج على التفكير بصوت عالٍ قبل الخروج بإجابة. 

وهذا يزيد من جودة الاستجابة، ولكن على حساب طول الاستجابة وتكلفتها وسرعتها. 

توصيتي

على الرغم من أن كل مشروع سيكون له احتياجاته الفريدة، إلا أنني سأقدم رأيي في نهج قوي. 

المكان الجيد للبدء هو استخدام نموذج جاهز يوازن بين السرعة والجودة، مثل GPT-4o Mini. ابدأ بالنظر إلى جودة الاستجابات، وسرعة الاستجابة، والتكلفة، واحتياجات نافذة السياق، وحدد ما يجب تحسينه من هناك. 

ثم، مع حالة استخدام ضيقة، يمكنك تجربة بعض الهندسة الفورية البسيطة، متبوعةً بـ RAG، وأخيرًا الضبط الدقيق. كل نموذج يمر عبر هذه النماذج سيكون له مكاسب في الأداء، لذا قد يكون من الصعب معرفة ما يجب استخدامه.

اعتبارات الخصوصية

في عالم مثالي، سيكون كل LLM تحت سيطرتك الخاصة بنسبة 100%، ولن يتم كشف أي شيء في أي مكان. 

لسوء الحظ، ليس هذا ما نلاحظه في الممارسة العملية - ولأسباب وجيهة للغاية. 

الأول بسيط: يتطلب الأمر هندسة لاستضافة نموذج مخصص وصيانته، وهو أمر مكلف للغاية. عندما يتعرض النموذج المستضاف لوقت تعطل، تتأثر مقاييس العمل، لذلك يجب أن يكون النشر قويًا جدًا. 

والسبب الآخر هو أن رواد الصناعة - مثل OpenAI وجوجل Anthropic - يطلقون باستمرار نماذج أحدث وأكثر قدرة وأرخص ثمناً تجعل أي عمل على الضبط الدقيق زائداً عن الحاجة. وقد كان هذا هو الحال منذ إصدار ChatGPT 3.5 ولا تظهر أي علامة على التغيير. 

إذا كانت حالة الاستخدام الخاصة بك تحتوي على بيانات حساسة للغاية، فمن المنطقي استخدام نموذج وتحسينه لحالة الاستخدام الخاصة بك. إذا كانت اللائحة العامة لحماية البيانات في مقدمة اهتماماتك، فهناك الكثير من النماذج الجاهزة المتوافقة مع اللائحة العامة لحماية البيانات.

البناء بعد اختيار LLM

بمجرد أن تختار LLM ، يمكنك البدء في تحديد كيفية بناء مشروع الذكاء الاصطناعي الخاص بك وصيانته. كمثال، سآخذ نوع المشروع الذي أعرفه أكثر من غيره: وكيل الذكاء الاصطناعي أو الذكاء الاصطناعي chatbot.

يمكنك الإجابة عن الأسئلة التالية لتحديد نطاق مشروعك:

• أين أريد أن يعيش وكيل الذكاء الاصطناعي الخاص بي؟Slack, WhatsApp، أداة موقع إلكتروني، إلخ)
• ما هي المعرفة التي يجب أن تكون لديها، وأين تلك المعرفة؟
• ما هي القدرات التي يجب أن تتمتع بها بخلاف الإجابة على المعرفة، إن وجدت؟ 
• هل يجب تفعيلها عندما يحدث شيء ما في مكان ما في العمل؟

إلغاء التحميل الهندسي لتوفير الدولارات

الحفاظ على ميزانية بسيطة أمر بالغ الأهمية في جعل مشروعك حقيقة واقعة. إحدى الطرق التي يمكنك من خلالها القيام بذلك هي تقليل الوقت الهندسي عن طريق فصل المتطلبات. 

في الوقت الحاضر لدينا إمكانية الوصول إلى حلول منخفضة التعليمات البرمجية مثل Flutterflow و Shopify، والتي يمكن استخدامها من قبل الأدوار غير التقنية التقليدية مثل مديري المنتجات. كما أن روبوتات المحادثة ليست استثناءً، بل إن بعض منصات أتمتة الذكاء الاصطناعي تسمح لك LLM. 

يمكنك إرشاد المهندسين للتركيز على استضافة LLM والإعداد مع منصة الأتمتة. وهذا يحرر محللي الأعمال ومديري المنتجات والأدوار الأخرى ذات الصلة لبناء وكلاء ذكاء اصطناعي يلبي متطلبات العمل. 

عندما تكون هناك حاجة إلى شيء إضافي، فإن هذه المنصات عمومًا لديها طريقة للمهندسين لإضافة بعض التعليمات البرمجية. بهذه الطريقة، تحتفظ بمزايا النموذج المخصص، وتكتسب المرونة والسرعة والقدرة على تحمل التكاليف.

توفير الحرية الهندسية لحل مشاكل العمل

من ناحية أخرى، يصعب حل مشاكل العمل في بعض الأحيان. 

نحن نتحدث عن تطبيقات LLM المربوطة بالشبكة بالكامل، أو التطبيقات على الجهاز، أو المشاريع التي تتطلب منح روبوتات الدردشة الآلية قدرات متقدمة للغاية تتجاوز مزامنة البيانات بين منصتين. 

في هذه الحالات، يكون السماح للمهندسين بحرية استخدام الأدوات التي يرتاحون لها أكثر من غيرها أمرًا منطقيًا. وعادةً ما يكون ذلك مجرد كتابة التعليمات البرمجية، ويقوم أصحاب المصلحة ببساطة بدور مديري المشروع.

الاعتبارات الاستراتيجية لتخصيص LLM

إن اختيار LLM مخصص لمشروع الذكاء الاصطناعي الخاص بك لا يتعلق فقط باختيار أفضل نموذج - بل يتعلق باتخاذ قرارات استراتيجية تتماشى مع أهدافك. 

توفر النماذج المخصصة المرونة والتحكم وإمكانية التحسين لمهام محددة، ولكنها تأتي أيضًا مع تعقيدات إضافية. ابدأ بنموذج جاهز، وجرّب الهندسة السريعة، ثم قم بالتنقيح التدريجي من هناك. 

تذكر أن النموذج المناسب يجب أن يناسب احتياجات عملك، وليس فقط احتياجاتك التقنية stack.

التخصيص باستخدام منصات قوية

هل أنت مستعد للارتقاء بمشروع الذكاء الاصطناعي الخاص بك إلى مستوى أعلى؟

Botpress هي منصة وكلاء ذكاء اصطناعي مرنة وقابلة للتوسيع بالكامل. يتيح موقعنا stack للمطورين إنشاء روبوتات الدردشة ووكلاء الذكاء الاصطناعي لأي حالة استخدام ممكنة.

نحن نتميز بمنصة تعليمية قوية, Botpress Academyبالإضافة إلى قناة مفصّلة على يوتيوب. يستضيف موقعنا Discord أكثر من 20,000 من مُنشئي الروبوتات، بحيث يمكنك دائمًا الحصول على الدعم الذي تحتاجه. 

‍ابدأالبناء اليوم. إنه مجاني.

الأسئلة الأكثر تداولًا

1. كيف يمكنني تقييم العائد الاستثماري للاستثمار في برنامج LLM مخصص لعملي؟

لتقييم العائد على الاستثمار في الاستثمار في LLM مخصصة لعملك، قارن التكاليف الإجمالية (على سبيل المثال، البنية التحتية، ووقت المطور، والضبط الدقيق، والاستضافة) مقابل المكاسب القابلة للقياس مثل تقليل العمالة ورفع التحويل. 

2. ما هي مؤشرات الأداء الرئيسية التي يجب أن أتتبعها لقياس فعالية LLM المخصصة؟

يجب عليك تتبع مؤشرات الأداء الرئيسية مثل دقة الاستجابة (الدقة/الاستدعاء أو إكمال المهمة)، والكمون (متوسط وقت الاستجابة)، ورضا المستخدم (CSAT/NPS)، ومعدل الاحتواء أو معدل الحل، وتكلفة كل تفاعل. تعكس هذه المقاييس الأداء الفني للنموذج وتأثيره على نتائج الأعمال.

3. كيف يمكنني تقدير تكلفة الصيانة على المدى الطويل لحل LLM مخصص؟

لتقدير تكاليف الصيانة طويلة الأجل لحل مخصص LLM قم بتضمين نفقات البنية التحتية (الحوسبة السحابية والتخزين)، والتحديثات الهندسية، وإعادة التدريب أو الضبط الدقيق للتكرار، وأدوات المراقبة، والتكيف مع التغييرات التنظيمية. إذا كانت بيانات عملك تتطور بسرعة، فتوقع زيادة نفقات إعادة التدريب والتحقق من الصحة بمرور الوقت.

4. كيف يمكنني قياس LLMs المختلفة لمجال عملي أو مجال عملي المحدد؟

ضع معايير مرجعية لمختلف LLMs عن طريق اختبارها مع مطالبات تمثيلية خاصة بالمجال ومقارنة أدائها من حيث الدقة والوضوح والنبرة وملاءمة المهمة. يمكنك استخدام مجموعات البيانات الداخلية أو تطبيق معايير مرجعية مفتوحة المصدر في المجال مثل FinancialQA أو MedQA اعتمادًا على قطاعك.

5. ما هي معايير الامتثال التي يجب أن يستوفيها LLM المخصص إذا كنت أتعامل مع بيانات المستخدم؟

إذا كنت تتعامل مع بيانات المستخدم، يجب أن تفي LLM المخصصة بمعايير مثل اللائحة العامة لحماية البيانات (لخصوصية بيانات الاتحاد الأوروبي)، و SOC 2 Type II (لأمن العمليات)، و HIPAA (إذا كنت تتعامل مع بيانات الرعاية الصحية). يجب أن يقدم موفر خدمة LLM ميزات مثل الوصول المستند إلى الأدوار، وتشفير البيانات أثناء النقل وفي حالة السكون، وتسجيل التدقيق، وسياسات واضحة للاحتفاظ بالبيانات وحذفها.