ฐานข้อมูลเวกเตอร์คืออะไร และทำงานอย่างไร

Embedding Model คืออะไร?

โมเดลการฝังตัวคือโมเดลการเรียนรู้ของเครื่องที่ได้รับการฝึกให้แปลงข้อมูลเป็นการฝังตัว

โมเดลเหล่านี้ได้รับการฝึกฝนให้บีบอัดข้อมูลลงในเวกเตอร์ (การฝังของเรา) จากนั้นจึงสร้างใหม่ เวกเตอร์ที่บีบอัดจะจัดเก็บข้อมูลเชิงความหมายจากข้อมูลให้ได้มากที่สุดเท่าที่จะเป็นไปได้

นั่นหมายความว่าพวกเขาไม่ได้เก็บแค่คำพูดเท่านั้น แต่ยังรวมถึงแนวคิดเบื้องหลังด้วย ตัวอย่างเช่น การฝังอาจจับภาพดังกล่าว:

• “ลูกสุนัข” และ “สุนัข” มีความเกี่ยวข้องกันอย่างใกล้ชิด
• “ฉันจะรีเซ็ตรหัสผ่านได้อย่างไร” มีความหมายคล้ายกับ “ไม่สามารถเข้าสู่ระบบบัญชีของฉันได้”
• “แล็ปท็อปราคาไม่แพง” และ “คอมพิวเตอร์ราคาประหยัด” หมายถึงสิ่งเดียวกัน
  

รูปแบบประเภทนี้ช่วยให้ ตัวแทน AI และเครื่องมือค้นหาเปรียบเทียบอินพุตตามความหมาย ไม่ใช่แค่คำหลักที่ตรงกันเท่านั้น

การค้นหาเชิงความหมายคืออะไร

แล้วการฝังจะเปรียบเทียบความคล้ายคลึงกันได้อย่างไร?

ดังที่ได้กล่าวไว้ก่อนหน้านี้ เวกเตอร์ฝังตัวคือชุดของตัวเลข ตัวเลขเหล่านี้เป็นตัวแทนของจุดในพื้นที่มิติสูง เราสามารถมองเห็นสิ่งต่างๆ ในรูปแบบ 2 มิติหรือ 3 มิติได้ แต่ 384 ล่ะ แทนที่จะเป็น X, Y และ Z เรามีค่าหลายร้อยค่าที่มารวมกันเพื่อระบุจุดเฉพาะจุดหนึ่งจุด

เวกเตอร์เหล่านี้ช่วยให้เราวัดได้ว่าเนื้อหาทั้ง 2 ชิ้นมีความ "ใกล้เคียง" แค่ไหน ไม่ใช่ในแง่ของ คำ แต่ในแง่ของ ความหมาย

การค้นหาเชิงความหมาย จะประมวลผลแบบสอบถามลงในเวกเตอร์ และค้นหาเวกเตอร์ที่ใกล้เคียงที่สุดในฐานข้อมูล เวกเตอร์ผลลัพธ์เหล่านี้ควรมีความคล้ายคลึงกับแบบสอบถามของผู้ใช้มากที่สุด

การค้นหาเพื่อนบ้านที่ใกล้ที่สุดโดยประมาณ (ANN)

การค้นหาเชิงความหมายจะดำเนินการโดยใช้อัลกอริทึม Approximate Nearest Neighbor (ANN) เป้าหมายของ ANN คือการตอบคำถามว่า "เวกเตอร์ใดในฐานข้อมูลของฉันที่คล้ายกับแบบสอบถามของฉันมากที่สุด"

มีอัลกอริทึม ANN หลายตัว โดยแต่ละตัวก็มีจุดแข็งที่แตกต่างกัน ตัวอย่างเช่น:

RAG (การสืบค้น-การสร้างเสริม)

นี้ LLM ดูเหมือนว่ากลยุทธ์การสร้างโมเดลจะเป็นที่พูดถึงกันทั่วเมือง และมีเหตุผลที่ดีด้วย: RAG นั้นเชื่อถือได้ แม่นยำ และให้การตอบสนองที่เฉพาะเจาะจง ซึ่งทั้งหมดนี้เป็นไปได้ด้วยฐานข้อมูลเวกเตอร์

ด้วย RAG คำถามของผู้ใช้จะถูกฝังและเปรียบเทียบกับฐานข้อมูลส่วนที่เหลือสำหรับรายการที่คล้ายกัน จากนั้นโมเดลจะอ้างอิงรายการเหล่านี้เมื่อสร้างการตอบสนอง

RAG หลีกเลี่ยงการพึ่งพาความรู้ภายในของโมเดลหรือประวัติการสนทนา ซึ่งทั้งสองอย่างนี้มีแนวโน้มจะเป็นเท็จหรือไม่เกี่ยวข้อง

สมมติว่าคุณขอสรุปเรื่องราวในวัยเด็กของนโปเลียน คำตอบของแบบจำลองนั้นดูสมเหตุสมผล แต่คำตอบนั้นแม่นยำหรือไม่ ด้วย RAG เอกสารที่เกี่ยวข้องกับคำถามของคุณจะถูกใช้เพื่อกำหนดคำตอบของแบบจำลอง ด้วยวิธีนี้ คุณสามารถตรวจสอบทรัพยากรหลักได้ และทำให้ผลลัพธ์ของแบบจำลองสามารถตรวจสอบ ได้

หากคุณต้องการดูว่าสิ่งนี้เป็นอย่างไรในทางปฏิบัติ นี่คือคำแนะนำใน การสร้างแชทบอทด้วย RAG

คำแนะนำผลิตภัณฑ์และเนื้อหา

ฐานข้อมูลเวกเตอร์ไม่เพียงแต่ใช้ตอบสนองต่อข้อสงสัยของผู้ใช้เท่านั้น แต่ยังสามารถใช้เพื่อเพิ่มประสิทธิภาพประสบการณ์ของผู้ใช้ได้อีกด้วย

การติดตามประวัติการนำทางของผู้ใช้และการจัดกลุ่มรายการที่คล้ายกันช่วยให้ธุรกิจต่างๆ สามารถกำหนดผลิตภัณฑ์หรือเนื้อหาที่ดีที่สุดที่จะแนะนำให้ผู้ใช้ได้

นี่คือตัวอย่างที่ดีของสิ่งที่เราเรียกว่า อัลกอริทึม : คำแนะนำเนื้อหาเชิงกลยุทธ์และการโฆษณาแบบกำหนดเป้าหมาย

ลองนึกถึงแพลตฟอร์มแบ่งปันวิดีโอ วิดีโอแต่ละวิดีโอจะมีเนื้อหาที่ฝังอยู่ในฐานข้อมูลของตัวเอง เมื่อคุณดูวิดีโอใดวิดีโอหนึ่ง ระบบจะแนะนำวิดีโออื่นๆ ที่มีเนื้อหาที่ฝังอยู่ในบริเวณใกล้เคียง ซึ่งหมายความว่าเนื้อหาจะมีความคล้ายคลึงกัน แม้ว่าชื่อเรื่องหรือแท็กจะแตกต่างกันโดยสิ้นเชิงก็ตาม

เมื่อเวลาผ่านไป ประวัติการดูของคุณจะกลายเป็น "กลุ่มเมฆ" ของการฝังตัวที่ปรับแต่งตามความต้องการ ช่วยให้ระบบเข้าใจถึงการตั้งค่าของคุณ และแนะนำสิ่งที่คุณต้องการดูต่อไป

1. ให้บริบทเพิ่มเติมแก่ Chatbots

LLMs มีแนวโน้มที่จะลืมและเกิดภาพหลอนในการสนทนาที่ยาวนาน ผู้ใช้และนักพัฒนาไม่มีความเข้าใจที่ชัดเจนว่าข้อมูลใดถูกเก็บไว้

ด้วยกลยุทธ์เช่น RAG โมเดลจะค้นหาฐานข้อมูลตามแบบสอบถามของคุณเพื่อค้นหาข้อมูลใดๆ ที่จำเป็นต่อการตอบสนองที่แม่นยำ

แทนที่จะเตือนและแก้ไขโมเดลเป็นครั้งที่นับไม่ถ้วน ฐานข้อมูลเวกเตอร์จะจัดเก็บข้อมูลที่เกี่ยวข้องและอ้างอิงถึงข้อมูลดังกล่าวอย่างชัดเจน

2. ทำให้ผลการค้นหาทนต่อการพิมพ์ผิด

แม้ว่าเราจะรู้คำสำคัญที่แน่นอน แต่การค้นหาก็ยังยุ่งยาก 

สุนัขกอล์ฟรีทรีฟเวอร์ ≠ โกลเด้นรีทรีฟเวอร์ แต่เครื่องมือค้นหาของคุณควรจะรู้ดีกว่านี้

หากเราจับคู่คำค้นหาอย่างแท้จริง การพิมพ์ผิดหรือสะกดคำผิดจะทำให้ไม่สามารถใช้ตัวเลือกที่เกี่ยวข้องได้ 

เมื่อเราสรุปความหมายของคำค้นหา การสะกดคำหรือคำศัพท์ที่เจาะจงก็ไม่มีความสำคัญมากนัก

3. อนุญาตให้ผู้ใช้ทำการค้นหาแบบคลุมเครือ

การค้นหาไม่ได้เกี่ยวกับ คีย์เวิร์ด มากนัก แต่เกี่ยวกับ ✨ความรู้สึก✨ 

การแยกข้อความเป็นเวกเตอร์แบบฝังตัวทำให้คุณสามารถจัดเก็บข้อความในพื้นที่ ที่อธิบาย ไม่ได้ ดังนั้น เมื่อมองเผินๆ 

"ฉันจะหาแฟลตไวท์รสเด็ดได้ที่ไหนแถวนี้" 

ไม่เหมือน 

“จุดที่ดีที่สุดสำหรับการดื่มคาเฟอีนใกล้ๆ” 

แต่เครื่องมือค้นหาของคุณจะจับคู่กับวลีเหล่านั้นได้เหมือนกัน ซึ่งเป็นไปได้เพราะการฝังวลีทั้งสองนั้นใกล้เคียงกันมาก แม้ว่าคำศัพท์จะต่างกันก็ตาม

4. ฐานข้อมูลเวกเตอร์สามารถเปรียบเทียบข้ามโหมดต่างๆ ได้

ข้อมูลมีหลากหลายรูปแบบ ขนาด และประเภท เรามักจะต้องเปรียบเทียบข้อมูลระหว่างประเภทต่างๆ เช่น การใช้ข้อความเพื่อค้นหาและกรองภาพผลิตภัณฑ์

โมเดลมัลติโมดัล ได้รับการฝึกอบรมเพื่อเปรียบเทียบข้อมูลประเภทต่างๆ เช่น ข้อความ รูปภาพ เสียง และวิดีโอ

วิธีนี้จะทำให้พูดคุยเกี่ยวกับเนื้อหาของคุณได้ง่ายขึ้น ค้นหาผลิตภัณฑ์โดยอธิบายรูปภาพของผลิตภัณฑ์ หรือสอบถามเกี่ยวกับแผนภูมิโดยใช้ภาษาธรรมดา

1. กำหนดกรณีการใช้งานของคุณ

เริ่มต้นด้วยสิ่งที่เรียบง่ายและมีประโยชน์ นี่คือตัวอย่างบางส่วนที่จะช่วยให้ทุกอย่างราบรื่น:

• แช ทบอทสำหรับการขายปลีก ที่ช่วยให้ลูกค้าค้นหาผลิตภัณฑ์ที่ตรงตามความต้องการและความชอบของตนเอง ถามว่า “เสื้อแจ็คเก็ตสำหรับเดินป่าตัวไหนดีในราคาไม่เกิน 150 ดอลลาร์”

• หุ่น ยนต์จำหน่ายตั๋ว ซึ่งจะคัดกรองคำขอด้านไอทีของพนักงานแบบเรียลไทม์ ถามว่า "ยังมีตั๋วที่มีความสำคัญสูงที่เกี่ยวข้องกับการเข้าถึง VPN ที่ยังไม่ได้กำหนดหรือไม่"

• กระบวนการ ทางธุรกิจอัตโนมัติ ตัวแทนที่จัดการการปฏิบัติตามคำสั่งซื้อตั้งแต่ต้นจนจบ ถามว่า “คำสั่งซื้อของ Smith ถูกจัดส่งแล้วหรือยัง และเราได้ส่งอีเมลยืนยันแล้วหรือยัง”

ทั้งหมดนี้สร้างได้อย่างรวดเร็ว ทดสอบได้ง่าย และมีคุณค่าทันที

2. เลือกแพลตฟอร์มของคุณ

หากฐานข้อมูลเวกเตอร์ดูสับสนหรือเป็นนามธรรม มี แพลตฟอร์มแชทบอท มากมายที่จัดการการฝังและการจัดคลัสเตอร์สำหรับคุณเบื้องหลัง

3. รวบรวมข้อมูลของคุณ

เริ่มต้นด้วยสิ่งที่คุณมีอยู่แล้ว เช่น ไฟล์ข้อความ PDF สเปรดชีต แพลตฟอร์มที่ดีจะจัดการการจัดรูปแบบให้กับคุณ เพียงอัปโหลดเนื้อหาของคุณ จากนั้นระบบจะจัดการการฝังและจัดทำดัชนีให้เอง

รายละเอียดบางอย่างจะขึ้นอยู่กับแพลตฟอร์มที่คุณใช้ ต่อไปนี้เป็น เคล็ดลับบางประการในการใช้ประโยชน์สูงสุดจากข้อมูลของคุณ

4. เพิ่มคำอธิบาย

เขียนคำอธิบายสั้น ๆ เป็นภาษาธรรมดาว่าบอทของคุณมีไว้ทำอะไร

สิ่งนี้จะช่วยกำหนดโทนและความคาดหวัง เช่น วิธีที่บอทควรพูดคุยกับผู้ใช้ ประเภทของคำถามที่สามารถคาดหวังได้ และข้อมูลใดที่สามารถอ้างอิงได้

ตัวอย่างเช่น:
“คุณเป็นผู้ช่วยฝ่ายสนับสนุนสำหรับทีมงาน HR ช่วยให้พนักงานค้นหานโยบายและตอบคำถามเกี่ยวกับ PTO และสิทธิประโยชน์ ใช้ข้อมูลจากคู่มือพนักงานและเอกสาร HR ชี้แจงให้ชัดเจนและสุภาพ หากคุณไม่ทราบข้อมูลบางอย่าง โปรดขอให้ผู้ใช้ติดต่อ HR”

5. ทดสอบและปรับแต่ง

ทดสอบการตั้งค่าของคุณด้วยแบบสอบถามจริง ถามว่าลูกค้าของคุณจะถามอะไร ผลลัพธ์มีความเกี่ยวข้องหรือไม่ ถูกต้องหรือไม่

ปรับแต่งบอทของคุณตามต้องการ:

• ผลลัพธ์ไม่สมบูรณ์ใช่ไหม เพิ่มจำนวนชิ้นส่วนเพื่อให้ได้คำตอบที่สมบูรณ์ยิ่งขึ้น
• ตอบสนองช้า? เลือกรุ่นที่เร็วกว่า
• คำตอบไม่ถูกต้องหรือไม่ ลองใช้แบบจำลองที่แม่นยำยิ่งขึ้นหรือเพิ่มข้อมูลที่เกี่ยวข้อง

แพลตฟอร์มมีการปรับแต่งได้สูง ดังนั้น การแก้ไขปัญหามักจะเป็นเพียงเรื่องของ การกำหนดค่า เช่น การเล่นกับโมเดลที่มีอยู่ หรือการเปลี่ยนแปลงคำอธิบาย