Retrieval-Augmented Generation (RAG) ใน AI คืออะไร?

1. การดึงข้อมูล 

แบบจำลองจะค้นหาและดึงข้อมูลที่เกี่ยวข้องจากแหล่งที่มีโครงสร้างหรือไม่มีโครงสร้าง (เช่น ฐานข้อมูล PDF ไฟล์ HTML หรือเอกสารอื่นๆ) แหล่งเหล่านี้อาจมีโครงสร้าง (เช่น ตาราง) หรือไม่มีโครงสร้าง (เช่น เว็บไซต์ที่ได้รับการอนุมัติ)

2. รุ่น

หลังจากดึงข้อมูลแล้วข้อมูลจะถูกป้อนเข้า LLM . การ LLM ใช้ข้อมูลเพื่อสร้างการตอบสนองในภาษาธรรมชาติ โดยรวมข้อมูลที่ได้รับอนุมัติกับความสามารถด้านภาษาของตัวเองเพื่อสร้างการตอบสนองที่แม่นยำ เหมือนมนุษย์ และสอดคล้องกับแบรนด์

ตัวอย่างที่ 1: สำนักงานกฎหมาย

สำนักงานกฎหมายอาจใช้ RAG ในระบบ AI เพื่อ:

• ค้นหาหลักเกณฑ์ คำพิพากษา และคำวินิจฉัยทางกฎหมายที่เกี่ยวข้องจากฐานข้อมูลเอกสารในระหว่างการค้นคว้า
• สร้างสรุปคดีโดยดึงข้อเท็จจริงที่สำคัญจากแฟ้มคดีและคำตัดสินที่ผ่านมา
• จัดเตรียมข้อมูลอัพเดตที่เกี่ยวข้องกับกฎระเบียบให้กับพนักงานโดยอัตโนมัติ

ตัวอย่างที่ 2 : บริษัทนายหน้าอสังหาริมทรัพย์

สำนักงานอสังหาริมทรัพย์อาจใช้ RAG ในระบบ AI เพื่อ:

• สรุปข้อมูลจากประวัติการทำธุรกรรมทรัพย์สินและสถิติอาชญากรรมในพื้นที่ใกล้เคียง
• ตอบคำถามทางกฎหมายเกี่ยวกับการทำธุรกรรมเกี่ยวกับทรัพย์สินโดยอ้างอิงกฎหมายและข้อบังคับเกี่ยวกับทรัพย์สินในท้องถิ่น
• ปรับปรุงกระบวนการประเมินให้มีประสิทธิภาพยิ่งขึ้นโดยดึงข้อมูลจากรายงานสภาพทรัพย์สิน แนวโน้มตลาด และยอดขายในอดีต

ตัวอย่างที่ 3: ร้านค้าอีคอมเมิร์ซ

อีคอมเมิร์ซอาจใช้ RAG ในระบบ AI เพื่อ:

• รวบรวมข้อมูลผลิตภัณฑ์ ข้อมูลจำเพาะ และบทวิจารณ์จากฐานข้อมูลของบริษัทเพื่อแจ้งคำแนะนำผลิตภัณฑ์ที่เป็นรายบุคคล
• ดึงข้อมูลประวัติการสั่งซื้อเพื่อสร้างประสบการณ์การช้อปปิ้งที่ปรับแต่งให้ตรงตามความต้องการของผู้ใช้
• สร้างแคมเปญอีเมลแบบกำหนดเป้าหมายโดยการดึงข้อมูลการแบ่งกลุ่มลูกค้าและรวมเข้ากับรูปแบบการซื้อล่าสุด

ป้องกันอาการประสาทหลอนและความคลาดเคลื่อน

รูปแบบภาษาแบบดั้งเดิมมักสร้างภาพหลอน ซึ่งเป็นการตอบสนองที่ฟังดูน่าเชื่อถือ แต่แท้จริงแล้วไม่ถูกต้องหรือไม่เกี่ยวข้อง

RAG ช่วยลดอาการประสาทหลอนโดยอาศัยแหล่งข้อมูลที่เชื่อถือได้และเกี่ยวข้องอย่างยิ่ง 

ขั้นตอนการดึงข้อมูลช่วยให้แน่ใจว่าแบบจำลองอ้างอิงข้อมูลที่ถูกต้องและเป็นปัจจุบัน ซึ่งช่วยลดโอกาสเกิดภาพหลอนได้อย่างมากและเพิ่มความน่าเชื่อถือ

ดึงข้อมูลอัพเดทล่าสุด

ในขณะที่ LLMs เป็นเครื่องมืออันทรงพลังสำหรับงานหลายอย่าง แต่ไม่สามารถให้ข้อมูลที่ถูกต้องเกี่ยวกับข้อมูลหายากหรือข้อมูลล่าสุดได้ รวมถึงความรู้ทางธุรกิจที่เฉพาะเจาะจง

แต่ RAG ช่วยให้โมเดลสามารถดึงข้อมูลเรียลไทม์จากแหล่งใดก็ได้ รวมถึงเว็บไซต์ ตาราง หรือฐานข้อมูล 

วิธีนี้จะช่วยให้มั่นใจได้ว่าตราบใดที่แหล่งข้อมูลความจริงได้รับการอัปเดต โมเดลจะตอบสนองด้วยข้อมูลที่ทันสมัย

การสื่อสารในบริบทที่ซับซ้อน

จุดอ่อนอีกประการหนึ่งของแบบดั้งเดิม LLM การใช้คือการสูญเสียข้อมูลบริบท

LLMs มีปัญหาในการรักษาบริบทในการสนทนาที่ยาวนานหรือซับซ้อน ซึ่งมักส่งผลให้ได้คำตอบที่ไม่สมบูรณ์หรือขาดความต่อเนื่อง

แต่โมเดล RAG ช่วยให้สามารถรับรู้บริบทได้ด้วยการดึงข้อมูลโดยตรงจากแหล่งข้อมูลที่เชื่อมโยงทางความหมาย 

ด้วยข้อมูลเพิ่มเติมที่มุ่งเป้าไปที่ความต้องการของผู้ใช้โดยเฉพาะ เช่น แชทบอทสำหรับการขายพร้อมแคตตาล็อกผลิตภัณฑ์ RAG ช่วยให้ตัวแทน AI สามารถเข้าร่วมในการสนทนาตามบริบทได้ 

1. การอัพโหลดเอกสาร

ขั้นแรก ผู้สร้างจะอัปโหลดเอกสารหรือไฟล์ไปยังไลบรารีของตัวแทน AI ไฟล์ดังกล่าวอาจเป็นเว็บเพจ PDF หรือรูปแบบอื่นที่รองรับ ซึ่งเป็นส่วนหนึ่งของฐานความรู้ของ AI

2. การแปลงเอกสาร

เนื่องจากมีไฟล์หลายประเภท เช่น PDF เว็บเพจ ฯลฯ ระบบจึงแปลงไฟล์เหล่านี้เป็นรูปแบบข้อความมาตรฐาน ทำให้ AI ประมวลผลและค้นหาข้อมูลที่เกี่ยวข้องได้ง่ายขึ้น

3. การแบ่งส่วนและการเก็บรักษา

เอกสารที่แปลงแล้วจะถูกแบ่งออกเป็นชิ้นเล็ก ๆ ที่จัดการได้ หรือเป็นกลุ่ม ๆ ชิ้นเล็ก ๆ เหล่านี้จะถูกเก็บไว้ในฐานข้อมูล ช่วยให้ตัวแทน AI สามารถค้นหาและดึงส่วนที่เกี่ยวข้องได้อย่างมีประสิทธิภาพในระหว่างการสอบถาม

4. การสอบถามผู้ใช้

หลังจากตั้งค่าฐานความรู้แล้ว ผู้ใช้สามารถถามคำถามกับตัวแทน AI ได้ คำถามจะได้รับการประมวลผลโดยใช้ การประมวลผลภาษาธรรมชาติ (NLP) เพื่อทำความเข้าใจว่าผู้ใช้กำลังถามอะไร

5. การสืบค้นความรู้

ตัวแทน AI จะค้นหาชิ้นส่วนที่จัดเก็บไว้โดยใช้อัลกอริธึมการค้นหาเพื่อค้นหาข้อมูลที่เกี่ยวข้องที่สุดจากเอกสารที่อัปโหลด ซึ่งสามารถตอบคำถามของผู้ใช้ได้

6. รุ่น

สุดท้าย ตัวแทน AI จะสร้างการตอบสนองด้วยการรวมข้อมูลที่เรียกค้นได้กับความสามารถของโมเดลภาษา เพื่อสร้างคำตอบที่สอดคล้องและถูกต้องตามบริบทโดยอิงจากคำถามและข้อมูลที่เรียกค้นได้

การแบ่งกลุ่มตามความหมายและตามความเป็นจริง

การแบ่งข้อมูลแบบไร้เดียงสาจะเกิดขึ้นเมื่อเอกสารถูกแบ่งออกเป็นชิ้นๆ ที่มีขนาดคงที่ เช่น การตัดข้อความออกเป็นส่วนๆ ละ 500 คำ โดยไม่คำนึงถึงความหมายหรือบริบท 

ในทางกลับกัน การแบ่งส่วนความหมายจะแบ่งเอกสารออกเป็นส่วนที่มีความหมายตามเนื้อหา

จะพิจารณาการแบ่งเนื้อหาตามธรรมชาติ เช่น ย่อหน้าหรือหัวข้อ เพื่อให้แน่ใจว่าเนื้อหาแต่ละส่วนมีข้อมูลที่สอดคล้องกัน

การอ้างอิงที่จำเป็น

สำหรับอุตสาหกรรมที่ใช้ AI เพื่อทำการสนทนาที่มีความเสี่ยงสูงโดยอัตโนมัติ เช่น ภาคการเงินหรือการดูแลสุขภาพ การอ้างอิงสามารถช่วยสร้างความไว้วางใจให้กับผู้ใช้เมื่อได้รับข้อมูล

นักพัฒนาสามารถสั่งให้โมเดล RAG ของตนระบุการอ้างอิงสำหรับข้อมูลใดๆ ที่ส่งมา 

ตัวอย่างเช่น หากพนักงานขอข้อมูลเกี่ยวกับสิทธิประโยชน์ด้านสุขภาพจากแชทบอท AI แชทบอทสามารถตอบสนองและให้ลิงก์ไปยังเอกสารสิทธิประโยชน์ของพนักงานที่เกี่ยวข้องได้ 

1. RAG แตกต่างจากการปรับแต่งแบบละเอียดอย่างไร LLM -

RAG ช่วยให้คุณเก็บฐานไว้ได้ LLM ไม่ถูกแตะต้องและดึงข้อมูลที่เกี่ยวข้องเข้ามาในขณะที่กำลังค้นหา ในขณะที่การปรับแต่งจะเปลี่ยนแปลงโมเดลโดยการฝึกโมเดลบนข้อมูลของคุณ RAG เร็วกว่าและยืดหยุ่นกว่ามากสำหรับการอัปเดต

2. แหล่งข้อมูลประเภทใดบ้างที่ ไม่ เหมาะกับ RAG?

เอกสารที่ยุ่งวุ่นวาย ล้าสมัย หรือซับซ้อนเกินไป (เช่น รูปภาพที่สแกนหรือ PDF ที่ไม่ใช่ข้อความ) อาจก่อให้เกิดปัญหาได้ เช่นเดียวกับแหล่งข้อมูลที่มีความคลุมเครือหรือข้อมูลที่ขัดแย้งกันมากเกินไป

3. RAG เปรียบเทียบกับเทคนิคการเรียนรู้ตามบริบท เช่น วิศวกรรมกระตุ้นการเรียนรู้ได้อย่างไร

วิศวกรรมพร้อมท์ทำงานโดยการยัดตัวอย่างโดยตรงลงในพร้อมท์ แต่ RAG ปรับขนาดได้ดีกว่าด้วยการดึงความรู้ภายนอกแบบไดนามิก ดังนั้น คุณจะไม่ถึงขีดจำกัดโทเค็นอย่างรวดเร็ว และคุณสามารถใช้ประโยชน์จากฐานข้อมูลที่ใหญ่ขึ้นมากได้

4. ฉันสามารถใช้ RAG กับบุคคลที่สามได้หรือไม่ LLMs ชอบ OpenAI - Anthropic หรือมิสทรัล?

แน่นอน คุณสามารถเสียบระบบ RAG เข้ากับระบบยอดนิยมส่วนใหญ่ได้ LLMs ผ่าน API ของพวกเขา คุณจัดการส่วนการดึงข้อมูลด้วยตัวเอง และเพียงแค่ส่งคำสั่งสุดท้าย (พร้อมบริบท) ไปยังโมเดล

5. การบำรุงรักษาอย่างต่อเนื่องสำหรับตัวแทน AI ที่เปิดใช้งาน RAG มีลักษณะอย่างไร

คุณจะต้องการรักษาฐานความรู้ของคุณให้สดใหม่โดยการสร้างดัชนีเอกสารใหม่ ตรวจสอบประสิทธิภาพการทำงานเพื่อตรวจจับการตอบสนองที่ไม่ดีหรือที่หายไป และปรับเปลี่ยนการตั้งค่าการแบ่งส่วนหรือการดึงข้อมูลเป็นครั้งคราวเพื่อปรับปรุงความเกี่ยวข้อง