ما هي قاعدة بيانات المتجهات وكيف تعمل؟

ما هو نموذج التضمين؟

نماذج التضمين هي نماذج تعلّم آلي مدرّبة على تحويل البيانات إلى تضمينات.

يتم تدريب هذه النماذج على ضغط البيانات في متجه (التضمين الخاص بنا)، ثم إعادة توليدها. يخزن المتجه المضغوط أكبر قدر ممكن من المعلومات الدلالية من البيانات.

وهذا يعني أنها لا تخزن الكلمات فقط، بل الأفكار الكامنة وراءها. على سبيل المثال، قد يلتقط التضمين ما يلي:

• "جرو" و "كلب" مرتبطان ارتباطًا وثيقًا
• "كيف يمكنني إعادة تعيين كلمة المرور الخاصة بي؟" يشبه في معناه "لا يمكنني تسجيل الدخول إلى حسابي"
• تشير عبارة "كمبيوتر محمول ميسور التكلفة" و "كمبيوتر اقتصادي" إلى نفس الشيء
  

تساعد هذه الأنواع من الأنماط وكلاء الذكاء الاصطناعي ومحركات البحث على مقارنة المدخلات بناءً على المعنى، وليس فقط مطابقة الكلمات الرئيسية.

ما هو البحث الدلالي؟

إذن، كيف تتم مقارنة التضمينات للتشابه؟

كما ذكرنا سابقًا، متجه التضمين هو سلسلة من الأعداد. هذه الأعداد هي تمثيل لنقطة في فضاء عالي الأبعاد. يمكننا أن نتصور الأشياء في فضاء ثنائي الأبعاد أو ثلاثي الأبعاد، لكن ماذا عن 384؟ بدلًا من X وY وZ، لدينا مئات القيم، تجتمع كلها معًا لتحديد نقطة واحدة فريدة.

تسمح لنا هذه المتجهات بقياس مدى "تقارب" قطعتين من المحتوى - ليس من حيث الكلمات، ولكن من حيث المعنى.

يعالج البحث الدلالي الاستعلام إلى متجه، ويبحث في قاعدة البيانات عن أقرب المتجهات. يجب أن تكون متجهات النتائج هذه، من حيث المبدأ، الأكثر تشابهًا مع استعلام المستخدم.

بحث الجار الأقرب التقريبي (ANN)

يتم إجراء البحث الدلالي باستخدام خوارزمية أقرب جار تقريبي (ANN). الهدف من ANN هو الإجابة عن السؤال: "أي المتجهات في قاعدة البيانات الخاصة بي هو الأكثر تشابهًا مع استعلامي؟

هناك العديد من خوارزميات الشبكات العصبية الاصطناعية لكل منها نقاط قوتها. على سبيل المثال:

التوليد المعزز للاسترجاع (RAG)

يبدو أن استراتيجية توليد LLM هذه هي حديث المدينة، ولسبب وجيه: إن RAG موثوقة ودقيقة وتوفر استجابات محددة، وكل ذلك أصبح ممكناً باستخدام قواعد بيانات المتجهات.

باستخدام نموذج RAG، يتم تضمين استعلام المستخدم ومقارنته ببقية قاعدة البيانات للعناصر المماثلة. ثم يشير النموذج إلى هذه العناصر عند إنشاء استجابة.

يتفادى RAG الاعتماد على المعرفة الداخلية للنموذج أو تاريخ المحادثة، وكلاهما قد يكون خاطئًا أو غير ذي صلة.

لنفترض أنك سألت عن ملخص لطفولة نابليون. استجابة النموذج معقولة، ولكن هل هي دقيقة؟ باستخدام RAG، سيتم استخدام المستندات ذات الصلة باستعلامك لتوجيه استجابة النموذج. بهذه الطريقة، يمكنك التحقق من المورد الأساسي، مع الحفاظ على إمكانية التحقق من مخرجات النموذج.‍

إذا كنت تريد أن ترى كيف يبدو ذلك عمليًا، فإليك دليل لإنشاء chatbot باستخدام RAG.

توصيات المنتج والمحتوى

لا تُستخدم قواعد البيانات المتجهة فقط للرد على استفسارات المستخدم. يمكن استخدامها أيضًا لتحسين تجربة المستخدم.

يتيح تتبُّع سجل تصفُّح المستخدمين وتجميع العناصر المتشابهة للشركات تحديد أفضل منتج أو محتوى للتوصية به للمستخدم.

هذا مثال رائع لما نشير إليه باسم الخوارزمية: توصيات المحتوى الاستراتيجي والإعلانات المستهدفة.

فكّر في منصة لمشاركة الفيديو: كل فيديو له تضمين خاص به مخزّن في قاعدة البيانات. عندما تشاهد أحدها، يمكن للنظام أن يقترح عليك مقاطع فيديو أخرى ذات تضمينات قريبة - أي محتوى مشابه، حتى لو كانت العناوين أو العلامات مختلفة تماماً.

وبمرور الوقت، يصبح سجل ساعتك نوعاً من "سحابة" مخصصة من التضمينات، مما يساعد النظام على فهم تفضيلاتك والتوصية بما تريد أن تراه بعد ذلك.

1. توفر المزيد من السياق لروبوتات الدردشة الآلية

يتعرض LLMs والمطورون للنسيان والهلوسة في المحادثات الطويلة. ليس لدى المستخدمين والمطورين إحساس واضح بالمعلومات التي يتم الاحتفاظ بها.

باستخدام استراتيجيات مثل RAG، يقوم النموذج بالبحث في قاعدة البيانات مقابل استعلامك للعثور على أي معلومات مطلوبة لإعطاء إجابة دقيقة.

فبدلاً من تذكير النموذج وتصحيحه للمرة الألف، تقوم قواعد البيانات المتجهة بتخزين المعلومات ذات الصلة والإشارة إليها صراحةً.

2. يجعلون نتائج البحث متسامحة مع الأخطاء المطبعية

حتى لو كنا نعرف الكلمات المفتاحية بدقة، فإن البحث فوضوي. 

مسترد الجولف ≠ المسترد الذهبي، ولكن يجب أن يكون محرك البحث الخاص بك على دراية أفضل.

إذا كنا نقوم بمطابقة الاستعلامات حرفيًا، فإن الخطأ المطبعي أو الخطأ الإملائي في كتابة كلمة ما سيؤدي إلى استبعاد خيار ذي صلة. 

عندما نقوم بتجريد معنى استعلام البحث، فإن التهجئة أو الصياغة المحددة لا تهمنا كثيرًا.

3. تسمح للمستخدمين بإجراء بحث ضبابي

البحث لا يتعلق بالكلمات المفتاحية بقدر ما يتعلق بـ ✨المشاعر. 

يتيح لك تجريد النص في متجه التضمين تخزينه في فضاء فيبي غير قابل للوصف. لذا، ظاهرياً 

"أين يمكنني الحصول على مشروب أبيض مسطح رائع هنا؟" 

لا يبدو أن 

"أفضل الأماكن القريبة لتناول الكافيين", 

لكن محرك البحث الخاص بك سوف يطابقهما معاً. هذا ممكن لأن تضمين العبارتين متقارب جداً، على الرغم من اختلاف صياغتهما.

4. يمكن مقارنة قواعد البيانات المتجهة عبر الطرائق

تأتي البيانات في جميع الأشكال والأحجام والأنواع. غالبًا ما نحتاج إلى مقارنة البيانات عبر أنواع مختلفة. على سبيل المثال، استخدام النص للبحث عن صور المنتجات وتصفيتها.

يتم تدريب النماذج متعددة الوسائط على مقارنة أنواع مختلفة من البيانات، مثل النصوص والصور والصوت والفيديو.

هذا يجعل من السهل التحدث عن المحتوى الخاص بك. ابحث عن منتج من خلال وصف صورته، أو اسأل عن الرسوم البيانية باستخدام لغة بسيطة.

1. تحديد حالة الاستخدام الخاصة بك

ابدأ بشيء بسيط ومفيد. إليك بعض الأمثلة لتحفيزك على البدء:

• A chatbot للبيع بالتجزئة يساعد العملاء في العثور على المنتجات المناسبة بناءً على احتياجاتهم وتفضيلاتهم. اسأله، "ما هو الجاكيت الشتوي المناسب للمشي لمسافات طويلة والذي يقل سعره عن 150 دولاراً؟

• A روبوت التذاكر يقوم بفرز طلبات الموظفين المتعلقة بتكنولوجيا المعلومات في الوقت الفعلي. اسأل، "هل هناك أي تذاكر ذات أولوية عالية تتعلق بالوصول إلى الشبكة الافتراضية الخاصة لم يتم تعيينها بعد؟

• A أتمتة العمليات التجارية وكيل يدير تنفيذ الطلبات من البداية إلى النهاية. اسأله، "هل تم شحن طلب سميث حتى الآن، وهل أرسلنا رسالة التأكيد بالبريد الإلكتروني؟

كل ذلك سريع الإنشاء، وسهل الاختبار، وذو قيمة فورية.

2. اختر منصتك

إذا كنت تشعر بأن قواعد البيانات المتجهة مربكة أو مجردة، فهناك الكثير من منصاتchatbot التي تتعامل مع التضمينات والتجميع من خلف الكواليس.

3. اجمع بياناتك

ابدأ بما لديك بالفعل - الملفات النصية وملفات PDF وجداول البيانات. منصة جيدة تتعامل مع التنسيق نيابة عنك. ما عليك سوى تحميل المحتوى الخاص بك، وستتولى المنصة عملية التضمين والفهرسة خلف الكواليس.

ستعتمد بعض التفاصيل على النظام الأساسي الذي تستخدمه. إليك بعض النصائح لتحقيق أقصى استفادة من بياناتك.

4. إضافة وصف

اكتب وصفًا موجزًا بلغة بسيطة لماهية الروبوت الخاص بك.

يساعد ذلك في تحديد الأسلوب والتوقعات: كيف يجب أن يتحدث الروبوت إلى المستخدمين، وأنواع الأسئلة التي يمكن أن يتوقعها، والبيانات التي يمكنه الرجوع إليها.

على سبيل المثال:
"أنت مساعد دعم لفريق الموارد البشرية. ساعد الموظفين في العثور على السياسات والإجابة على الأسئلة المتعلقة بإجازة نهاية الخدمة والمزايا. استخدم المعلومات من دليل الموظف ووثائق الموارد البشرية. كن واضحاً ومهذباً. إذا كنت لا تعرف شيئًا ما، اطلب من المستخدم الاتصال بالموارد البشرية."

5. الاختبار والتعديل

اختبر إعدادك باستخدام استفسارات حقيقية. اسأل ما قد يطلبه عملاؤك. هل النتائج ذات صلة؟ هل هي دقيقة؟

قم بتعديل الروبوت الخاص بك حسب الحاجة:

• نتائج غير مكتملة؟ ارفع عدد القطع للحصول على إجابات أكثر اكتمالاً.
• استجابة بطيئة؟ اختر طرازاً أسرع.
• إجابات غير صحيحة؟ جرّب نموذجاً أكثر دقة، أو أضف بيانات ذات صلة.

المنصات قابلة للتخصيص إلى حد كبير، لذا فإن حل المشكلات عادةً ما يكون مجرد مسألة تهيئة، مثل اللعب بالنماذج المتاحة أو تغيير الأوصاف.