شرح فهرسة مستندات الذكاء الاصطناعي

تقسيم المستندات إلى أجزاء قابلة للاستخدام

تعمل فهرسة مستندات الذكاء الاصطناعي على تقسيم الملفات الكبيرة غير المتناسقة إلى أقسام منظمة يمكن لأنظمة الذكاء الاصطناعي استرجاعها بشكل مستقل.

يسمح ذلك للوكلاء بالتركيز على الأقسام ذات الصلة دون مسح المحتوى غير ذي الصلة أو المتكرر.

تمكين البحث عن المستندات المدرك للمقاصد

تتيح فهرسة الذكاء الاصطناعي إمكانية البحث حسب المعنى، وليس فقط حسب الصياغة الدقيقة.

حتى إذا كان استعلام المستخدم لا يتطابق مع اللغة المستخدمة في المستند، يسترجع النظام القسم الأكثر صلة بناءً على التشابه الدلالي.

على سبيل المثال، قد يبحث شخص ما عن "إلغاء اشتراكي"، بينما يقول المستند "كيفية إنهاء الفواتير المتكررة". قد يفوت البحث التقليدي هذا التطابق - لكن نظام الذكاء الاصطناعي الذي يستخدم الفهرسة الدلالية يسترجعه بشكل صحيح.

تأريض استجابات النموذج في البيانات الحقيقية

عندما تتم فهرسة المستندات، تسترجع LLMs الإجابات من محتوى المصدر الفعلي بدلاً من أن تهلوس بإجابة من معرفتها الداخلية.

تظل الاستجابات والإجراءات متوافقة مع سياساتك ووثائقك ومنطق عملك، بحيث يعكس النظام كيفية عمل الأشياء.

تشغيل التدفقات من المحتوى المفهرس

تتعطل معظم عمليات سير العمل عندما يتعين على مخرجات الذكاء الاصطناعي التحدث إلى أنظمة جامدة. ولكن إذا كان المحتوى مفهرسًا بالهيكل، يمكن للوكلاء استخراج مشغّل وتوجيهه إلى واجهة برمجة التطبيقات الصحيحة وإغلاق الحلقة، دون مجموعة قواعد هشة.

يحافظ المحتوى المفهرس على السياق والمقصد عبر الأنظمة، بحيث تنتقل الإجراءات بشكل نظيف بين المنصات.

على سبيل المثال، يمكن لوكيل الذكاء الاصطناعي استخراج شرط الإلغاء من مستند السياسة، وتسجيل الطلب في HubSpot، وتحديث سجل مشترك في Google Drive دون انتظار التدخل اليدوي.

الخطوة 1: استخراج نص قابل للاستخدام من الملفات الخام

الخطوة الأولى هي التحليل، أي تحويل التنسيقات الأولية مثل ملفات PDF وصفحات الويب والمسح الضوئي إلى نص واضح ومقروء. تبدو هذه الخطوة بسيطة، لكنها غالبًا ما تكون الجزء الأكثر عرضة للأخطاء في عملية التحليل.

مستندات العالم الواقعي مليئة بالضوضاء الهيكلية التي يجب إزالتها:

• رؤوس وتذييلات متكررة تظهر في كل صفحة
• إخلاء المسؤولية القانونية وأرقام الصفحات والعلامات المائية التي تقطع تدفق القراءة
• قوائم تنقل HTML، أو الحواشي السفلية، أو الإعلانات في محتوى الويب المُصدَّر
• أخطاء OCR من المستندات الممسوحة ضوئياً، مثل الحروف المفقودة أو الأسطر المدمجة
• ملفات PDF غير موسومة بشكل جيد حيث تكون الفقرات مقسمة أو يكون ترتيب القراءة معطلاً

الهدف هو إزالة كل ما ليس محتوى ذا معنى والحفاظ على البنية حيثما وجدت. إذا سارت هذه الخطوة بشكل خاطئ، تصبح بقية عملية الفهرسة غير موثوقة.

الخطوة 2: قسّم المحتوى إلى أجزاء ذات معنى

بعد التحليل، يتم تقسيم النص الذي تم تنظيفه إلى أقسام أصغر - أو "أجزاء" - تحافظ على المعنى والسياق. يتم إنشاء الأجزاء عادةً بناءً على:

• الفقرات، إذا كانت كاملة من الناحية الدلالية
• العناوين أو عناوين الأقسام، والتي غالبًا ما تحدد موضوعات قائمة بذاتها
• حدود التوكنات، لتتناسب مع نافذة سياق نموذجك (غالبًا ما يتراوح بين 500 - 1000 توكن تقريبًا)

لكن المستندات الحقيقية لا تجعل هذا الأمر سهلاً دائماً. يحدث التقطيع بشكل خاطئ عندما:

• يتم تقسيم المحتوى في منتصف الفكرة (على سبيل المثال، فصل القاعدة عن شرطها)
• يتم تقسيم القوائم أو الجداول إلى أجزاء
• يتم فرض أفكار متعددة غير مرتبطة ببعضها البعض في قطعة واحدة

يبدو الجزء الجيد وكأنه إجابة أو فكرة قائمة بذاتها. والجزء السيئ يجعلك تقوم بالتمرير لأعلى ولأسفل لفهم ما يتحدث عنه.

الخطوة 3: تحويل كل جزء إلى تضمين

يتم تمرير كل قطعة من خلال نموذج تضمين لإنشاء متجه - تمثيل رقمي لمعناها. يصبح هذا المتجه هو مفتاح العثور على تلك القطعة لاحقًا باستخدام البحث الدلالي.

تقوم بعض الأنظمة أيضًا بإرفاق بيانات وصفية بكل جزء. قد يتضمن ذلك عنوان المستند أو اسم القسم أو الفئة - وهو أمر مفيد لتصفية النتائج أو تنظيمها لاحقًا.

تعمل هذه الخطوة على تحويل المحتوى إلى شيء يمكن أن يعمل به النموذج: وحدة قابلة للبحث تحمل معنى وإمكانية التتبع.

الخطوة 4: تخزين التضمينات في قاعدة بيانات المتجهات

يتم تخزين المتجهات التي تم إنشاؤها في قاعدة بيانات المتجهات - وهو نظام مصمم للبحث السريع القائم على المعنى عبر مجموعات المحتوى الكبيرة.

يتيح ذلك لنماذج اللغة استرجاع المحتوى ذي الصلة عند الطلب، مما يؤسس الردود على المعلومات الحقيقية.

1. Botpress

Botpress عبارة عن منصة مرئية لبناء وكلاء ذكاء اصطناعي يمكنهم فهم واستنتاج واتخاذ إجراءات عبر قنوات النشر المختلفة.

إنه مصمم للفرق التي ترغب في نشر الذكاء الاصطناعي التخاطبي بسرعة دون كتابة منطق الواجهة الخلفية من الصفر.

فهرسة المستندات هي قدرة مدمجة. يمكنك تحميل الملفات أو عناوين URL أو المحتوى المهيكل إلى قاعدة المعرفة، ويتولى Botpress التحليل والتقطيع والتضمين تلقائيًا. 

ثم يتم استخدام هذا المحتوى مباشرةً في المحادثات لتوليد استجابات قائمة على أسس سليمة LLM.

إنه خيار قوي إذا كنت تريد الفهرسة وتنفيذ الوكيل في نظام واحد متكامل بإحكام، دون إدارة مخازن متجهات منفصلة أو طبقات تزامن منفصلة.

دلائل الميزات:

• التقطيع والفهرسة التلقائية للوثائق والمواقع الإلكترونية التي تم تحميلها
• فهرسة الرؤية (المخططات والرسوم البيانية واسترجاع البيانات المرئية)
• أداة إنشاء العوامل المرئية مع الذاكرة والشروط ومحفزات واجهة برمجة التطبيقات
• عمليات التكامل والتحليلات الأصلية لحلقة التغذية الراجعة الكاملة

التسعير:

• باقة مجانية مع أرصدة الذكاء الاصطناعي القائمة على الاستخدام
• Plus: 89 دولارًا شهريًا تضيف فهرسة الرؤية، والتسليم المباشر للوكيل، واختبار التدفق
• الفريق: 495 دولارًا أمريكيًا/شهريًا مع التعاون، وSSO، والتحكم في الوصول

2. لاما إندكس

LlamaIndex هو إطار عمل مفتوح المصدر مصمم خصيصًا لفهرسة واسترجاع البيانات غير المهيكلة باستخدام LLMs. وقد بدأ كفهرس GPT ولا يزال أساسه مبنيًا على تحويل المستندات الأولية إلى سياق منظم وقابل للاستعلام.

يمكنك تحديد كيفية تجزئة بياناتك وتضمينها وتصفيتها واستردادها، سواءً كانت قادمة من ملفات PDF أو قواعد البيانات أو واجهات برمجة التطبيقات.

وبمرور الوقت، توسعت LlamaIndex لتشمل توجيه الوكيل والذاكرة، ولكن قوتها لا تزال تكمن في بناء خطوط أنابيب مخصصة حول المحتوى غير المنظم.

إنه رائع للمطورين الذين يرغبون في ضبط بنية طبقة المعرفة الخاصة بهم دون بناء كل خط أنابيب من الصفر.

دلائل الميزات:

• خطوط أنابيب الفهرسة المنظمة للمحتوى المحلي والبعيد
• التقطيع القابل للتكوين، والتضمينات، والبيانات الوصفية، والمستردات القابلة للتكوين
• توجيه وأدوات وذاكرة اختيارية إذا كان البناء يتجاوز الفهرسة

التسعير:

• مجاني ومفتوح المصدر
• للمحترفين: 19 دولاراً شهرياً للاستخدام المستضاف والوصول المُدار إلى واجهة برمجة التطبيقات
• المؤسسة: مخصص

3. لانغشين

LangChain هو إطار عمل لبناء تطبيقات LLM باستخدام وحدات بناء معيارية. وهو يُستخدم على نطاق واسع لتسلسل الأدوات والمستندات والمنطق في سلسلة من الأدوات والمستندات والمنطق في تجارب محادثة وعامل عاملة - واسترجاع المستندات هو جزء من تلك السلسلة.

إمكانيات الاسترجاع الخاصة به مرنة وقابلة للتركيب. يمكنك تحميل المستندات، وتوليد التضمينات، وتخزينها في قاعدة بيانات متجهة، واسترجاع الأجزاء ذات الصلة في وقت الاستعلام.

يعمل بشكل جيد عندما تقوم ببناء شيء مخصص، مثل طبقة البحث المختلطة أو ذاكرة الوكيل، ولكن الفهرسة ليست محور تركيزه الرئيسي.

دلائل الميزات:

• خط أنابيب معياري لتحميل المستندات وتضمينها واسترجاعها
• يدعم أدوات الاسترجاع المتقدمة، وأجهزة إعادة الترتيب وإعدادات البحث المختلطة
• يعمل مع جميع قواعد البيانات المتجهة الرئيسية
• سهولة الدمج مع LlamaIndex أو مجموعات الأدوات الخارجية

التسعير:

• مجاني ومفتوح المصدر
• لانجسميث: 50 دولارًا شهريًا للمراقبة والاختبار
• المؤسسة: مخصص

4. كوز الصنوبر

Pinecone هي قاعدة بيانات متجهة مُدارة تعمل على تشغيل بحث دلالي سريع وقابل للتطوير.

وغالبًا ما يتم استخدامه كطبقة تخزين واسترجاع في خطوط أنابيب RAG، حيث تتم فهرسة تضمينات المستندات والاستعلام عنها في وقت التشغيل. ولهذا السبب، فإنه يلعب أيضًا دورًا محوريًا في عمليات سير العمل الخلفية للعديد من وكالات الذكاء الاصطناعي.

إنه مصمم لبيئات الإنتاج، مع دعم التصفية وعلامات البيانات الوصفية وعزل مساحة الاسم.

إذا كنت تنشئ روبوتًا يحتاج إلى البحث عبر مجموعات بيانات كبيرة ومتغيرة بزمن انتقال منخفض، فإن Pinecone هو أحد أكثر قواعد البيانات المتجهة موثوقيةً المتاحة.

دلائل الميزات:

• قاعدة بيانات متجهة مُدارة بالكامل مع بنية بدون خادم
• يدعم تصفية البيانات الوصفية، ومساحات الأسماء، والقياس حسب الفهرس
• البحث التقريبي السريع لأقرب جار (ANN)
• يتكامل مع معظم نماذج التضمين وأطر الاسترجاع
• شائع في خطوط أنابيب LLM والوكلاء

التسعير:

• خطة مجانية ذات حجم فهرس وحساب محدود
• قياسية: على أساس الاستخدام بدءاً من 0.096 دولار أمريكي/ساعة تقريباً
• المؤسسة: مخصص

5. ويفيتات

Weaviate هي قاعدة بيانات متجهة مفتوحة المصدر مع دعم مدمج للبحث الدلالي والبحث المختلط.

على عكس Pinecone، يمكنه توليد التضمينات داخلياً، أو يتيح لك إحضار التضمينات الخاصة بك، ويمنحك المزيد من المرونة إذا كنت ترغب في الاستضافة الذاتية أو التخصيص.

إنه خيار قوي للفرق التي ترغب في فهرسة المستندات والبيانات الوصفية معًا، أو تجربة نماذج متعددة الوسائط، أو تشغيل البحث الدلالي دون إدارة مكونات إضافية.

دلائل الميزات:

• قاعدة بيانات متجهات مفتوحة المصدر مع واجهات برمجة تطبيقات REST و GraphQL
• يدعم البحث المختلط (متجه + كلمة رئيسية)
• جيل التضمين المدمج المدمج
• تصميم مخطط مرن مع دعم قوي للبيانات الوصفية

التسعير:

• مفتوح المصدر ومستضاف ذاتياً: مجاني
• السحابة: تبدأ بحوالي 25 دولاراً شهرياً للمثيلات المُدارة

6. ElasticSearch

ElasticSearch هو محرك بحث وتحليلات قوي ومفتوح المصدر يُستخدم على نطاق واسع للبحث في النص الكامل وتحليل السجلات.

ويمكنه فهرسة كميات كبيرة من البيانات المستندة إلى المستندات، مما يجعله مثاليًا لمهام سير عمل فهرسة مستندات الذكاء الاصطناعي التي تتطلب إمكانات بحث سريعة وقابلة للتطوير.

بينما يُستخدم ElasticSearch في المقام الأول للبحث، يمكن دمج ElasticSearch مع أدوات أخرى للبحث الدلالي من خلال دمجه مع قواعد البيانات المتجهة والتضمينات.

دلائل الميزات:

• البحث في النص الكامل والتحليلات القابلة للتطوير
• الفهرسة والاسترجاع في الوقت الحقيقي
• يدعم لغات استعلام متقدمة مثل Elasticsearch Query DSL للاستعلامات
• يتكامل مع البحث المتجه للبحث الدلالي عند دمجه مع أدوات أخرى
• بنية موزعة للتوسع الأفقي
  
  

التسعير:

• مجاني ومفتوح المصدر (مستضاف ذاتيًا)
• السحابة المرنة: تبدأ من 16 دولاراً شهرياً للمثيل السحابي الأساسي

كيف يمكنني معرفة ما إذا كانت شركتي تحتاج إلى فهرسة مستندات الذكاء الاصطناعي؟

من المحتمل أن تحتاج شركتك إلى فهرسة مستندات الذكاء الاصطناعي إذا كان لديك كميات كبيرة من المستندات غير المنظمة - مثل ملفات PDF أو مقالات المساعدة - التي يجد الموظفون أو العملاء صعوبة في البحث فيها، وتريد أن تقدم أنظمة الذكاء الاصطناعي إجابات دقيقة وموثوقة بناءً على المحتوى الخاص بك بدلاً من بيانات الويب العامة.

هل فهرسة مستندات الذكاء الاصطناعي مفيدة فقط لروبوتات الدردشة الآلية، أم أن هناك تطبيقات أخرى؟

لا يقتصر استخدام فهرسة مستندات الذكاء الاصطناعي على روبوتات الدردشة الآلية فحسب، بل تعمل أيضًا على تشغيل محركات البحث الدلالي وقواعد المعرفة الداخلية وأدوات تلخيص المستندات وأنظمة مراقبة الامتثال وسير العمل الآلي التي تعتمد على استخراج رؤى منظمة من الملفات المعقدة.

هل يمكن للفرق الصغيرة التي ليس لديها علماء بيانات تنفيذ فهرسة مستندات الذكاء الاصطناعي؟

يمكن للفرق الصغيرة التي ليس لديها علماء بيانات تنفيذ فهرسة مستندات الذكاء الاصطناعي لأن الأدوات الحديثة مثل Botpress تقدم إعدادات بدون تعليمات برمجية تتعامل مع التحليل والتقطيع والتضمين تلقائيًا، مما يتيح للمستخدمين غير التقنيين بناء أنظمة معرفية قابلة للبحث.

ما هي تكلفة تنفيذ أدوات فهرسة مستندات الذكاء الاصطناعي؟

يمكن أن تتراوح تكلفة تطبيق فهرسة مستندات الذكاء الاصطناعي بين المجانية للأطر مفتوحة المصدر أو الأدوات صغيرة النطاق، ومئات أو آلاف dollars شهرياً لحلول المؤسسات المُدارة، وذلك اعتماداً على كمية البيانات التي تحتاج إلى فهرستها وما إذا كنت بحاجة إلى ميزات متقدمة مثل البحث المختلط أو الامتثال الأمني المتقدم.

ما مقدار الخبرة الفنية التي أحتاجها لإعداد خط أنابيب فهرسة مستندات الذكاء الاصطناعي؟

ستحتاج إلى الحد الأدنى من الخبرة التقنية إذا كنت تستخدم منصات بدون تعليمات برمجية تتعامل مع التحليل والتقطيع والتخزين المتجه نيابةً عنك، ولكن إعداد خط أنابيب مخصص بالكامل لفهرسة مستندات الذكاء الاصطناعي باستخدام أدوات مثل LangChain أو Weaviate يتطلب عمومًا معرفة بالبرمجة وواجهات برمجة التطبيقات ومعالجة البيانات لضبط منطق التقطيع وإدارة قواعد البيانات المتجهة.