Apa yang dimaksud dengan Basis Data Vektor dan Bagaimana Cara Kerjanya?

Apa yang dimaksud dengan Model Penyematan?

Model penyematan adalah model pembelajaran mesin yang dilatih untuk mengubah data menjadi penyematan.

Model-model ini dilatih untuk mengompresi data menjadi sebuah vektor (penyematan kami), dan kemudian membuatnya kembali. Vektor yang dikompresi menyimpan sebanyak mungkin informasi semantik dari data.

Itu berarti mereka tidak hanya menyimpan kata-katanya, tetapi juga ide di baliknya. Sebagai contoh, penyematan dapat menangkap hal itu:

• "anak anjing " dan "anjing" sangat erat kaitannya
• "Bagaimana cara mengatur ulang kata sandi saya?" memiliki arti yang sama dengan "Tidak bisa masuk ke akun saya"
• "laptop terjangkau" dan "komputer hemat" mengacu pada hal yang sama
  

Pola-pola seperti ini membantu agen AI dan mesin pencari membandingkan input berdasarkan makna, bukan hanya mencocokkan kata kunci.

Apa yang dimaksud dengan Pencarian Semantik?

Jadi, bagaimana perbandingan kemiripan antara penyematan dan penyematan?

Seperti yang telah disebutkan sebelumnya, vektor penyematan adalah serangkaian angka. Angka-angka ini adalah representasi dari sebuah titik dalam ruang dimensi tinggi. Kita bisa memvisualisasikan sesuatu dalam 2D atau 3D, tetapi bagaimana dengan 384? Alih-alih X, Y, dan Z, kita memiliki ratusan nilai, semuanya bersatu untuk menentukan satu titik yang unik.

Vektor ini memungkinkan kita untuk mengukur seberapa "dekat" 2 buah konten - bukan dalam hal kata-kata, tetapi dalam hal makna.

Pencarian semantik memproses kueri menjadi vektor, dan mencari vektor terdekat dalam basis data. Vektor hasil ini pada prinsipnya haruslah yang paling mirip dengan kueri pengguna.

Pencarian Perkiraan Tetangga Terdekat (ANN)

Pencarian semantik dilakukan dengan menggunakan algoritma Approximate Nearest Neighbor (ANN). Tujuan ANN adalah menjawab pertanyaan, "vektor mana dalam basis data saya yang paling mirip dengan kueri saya?"

Ada beberapa algoritma ANN, masing-masing dengan kekuatannya sendiri. Sebagai contoh:

RAG (Generasi Pengambilan-Penambahan)

Strategi pembuatan LLM ini tampaknya menjadi pembicaraan di kota, dan untuk alasan yang bagus: RAG dapat diandalkan, akurat, dan memberikan respons yang spesifik, semuanya dimungkinkan dengan Vector DB.

Dengan RAG, kueri pengguna disematkan dan dibandingkan dengan seluruh basis data untuk item yang serupa. Model kemudian mereferensikan item-item ini ketika menghasilkan respons.

RAG menghindari ketergantungan pada pengetahuan internal model atau riwayat percakapan, yang keduanya dapat cenderung salah atau tidak relevan.

Katakanlah Anda meminta ringkasan masa kecil Napoleon. Tanggapan model masuk akal, tetapi apakah itu akurat? Dengan RAG, dokumen yang relevan dengan kueri Anda akan digunakan untuk mengarahkan respons model. Dengan begitu, Anda dapat memeriksa sumber daya utama, sehingga output model dapat diverifikasi.‍

Jika Anda ingin melihat seperti apa praktiknya, berikut ini adalah panduan untuk membangun chatbot dengan RAG.

Rekomendasi Produk dan Konten

Basis data vektor tidak hanya digunakan untuk merespons pertanyaan pengguna. Database ini juga dapat digunakan untuk mengoptimalkan pengalaman pengguna.

Melacak riwayat navigasi pengguna dan mengelompokkan item yang serupa memungkinkan bisnis menentukan produk atau konten terbaik untuk direkomendasikan kepada pengguna.

Ini adalah contoh yang bagus dari apa yang kami sebut sebagai algoritme: rekomendasi konten strategis dan iklan bertarget.

Bayangkan sebuah platform berbagi video: setiap video memiliki penyematannya sendiri yang tersimpan dalam database. Ketika Anda menonton satu video, sistem dapat menyarankan video lain yang memiliki embedding di dekatnya - yang berarti konten yang serupa, meskipun judul atau tagnya sama sekali berbeda.

Seiring waktu, riwayat arloji Anda menjadi semacam "awan" penyematan yang dipersonalisasi, membantu sistem memahami preferensi Anda dan merekomendasikan apa yang ingin Anda lihat berikutnya.

1. Mereka Menyediakan Lebih Banyak Konteks untuk Chatbots

LLMs cenderung lupa dan berhalusinasi dalam percakapan yang panjang. Pengguna dan pengembang tidak memiliki pemahaman yang jelas tentang informasi mana yang disimpan.

Dengan strategi seperti RAG, model mencari basis data berdasarkan kueri Anda untuk menemukan informasi apa pun yang diperlukan untuk memberikan respons yang akurat.

Daripada mengingatkan dan mengoreksi model untuk kesekian kalinya, basis data vektor menyimpan informasi yang relevan dan mereferensikannya secara eksplisit.

2. Mereka Membuat Hasil Pencarian Menjadi Tidak Mudah Salah Ketik

Bahkan jika kita mengetahui kata kunci yang tepat, pencarian tetap saja berantakan. 

golfen retriever ≠ golden retriever, tetapi mesin pencari Anda seharusnya tahu lebih baik.

Jika kita mencocokkan kueri secara harfiah, kesalahan ketik atau kata yang salah eja akan mendiskualifikasi opsi yang relevan. 

Ketika kita mengabstraksikan makna dari kueri penelusuran, ejaan atau kata-kata tertentu tidak terlalu penting.

3. Mereka Memungkinkan Pengguna untuk Melakukan Pencarian Fuzzy

Pencarian tidak hanya tentang kata kunci, tetapi juga tentang ✨vibes✨. 

Mengabstraksikan teks ke dalam vektor penyematan memungkinkan Anda menyimpannya dalam ruang getaran yang tak terlukiskan. Jadi, di permukaan, 

"Di mana saya bisa mendapatkan flat white yang enak di sekitar sini?" 

tidak terlihat seperti 

"Tempat terbaik untuk menikmati kafein di dekatnya", 

tetapi mesin pencari Anda akan mencocokkan keduanya. Hal ini dimungkinkan karena penyematan kedua frasa tersebut sangat dekat, meskipun kata-katanya berbeda.

4. DB Vektor dapat Membandingkan Berbagai Modalitas

Data hadir dalam berbagai bentuk, ukuran, dan jenis. Kita sering kali perlu membandingkan data dari berbagai jenis. Misalnya, menggunakan teks untuk mencari dan memfilter gambar produk.

Model multimodal dilatih untuk membandingkan berbagai jenis data, seperti teks, gambar, audio, dan video.

Hal ini memudahkan untuk membicarakan konten Anda. Temukan produk dengan mendeskripsikan gambarnya, atau tanyakan tentang grafik dengan menggunakan bahasa yang sederhana.

1. Tentukan Kasus Penggunaan Anda

Mulailah dengan sesuatu yang sederhana dan berguna. Berikut ini beberapa contoh untuk memulai:

• A chatbot ritel yang membantu pelanggan menemukan produk yang tepat berdasarkan kebutuhan dan preferensi mereka. Tanyakan, "Jaket musim dingin apa yang bagus untuk mendaki gunung dengan harga di bawah $150?"

• A bot tiket yang mengelompokkan permintaan TI karyawan secara real-time. Tanyakan, "Apakah ada tiket prioritas tinggi yang terkait dengan akses VPN yang masih belum ditugaskan?"

• A otomatisasi proses bisnis yang mengelola pemenuhan pesanan dari awal hingga akhir. Tanyakan, "Apakah pesanan Smith sudah dikirim, dan apakah kami sudah mengirim email konfirmasi?"

Semua ini cepat dibuat, mudah diuji, dan langsung berharga.

2. Pilih Platform Anda

Jika database vektor terasa membingungkan atau abstrak, ada banyak platform chatbot yang menangani penyematan dan pengelompokan untuk Anda di belakang layar.

3. Kumpulkan Data Anda

Mulailah dengan apa yang sudah Anda miliki-file teks, PDF, spreadsheet. Platform yang bagus akan menangani pemformatan untuk Anda. Cukup unggah konten Anda, dan platform ini akan menangani penyematan dan pengindeksan di belakang layar.

Beberapa hal spesifik akan tergantung pada platform yang Anda gunakan. Berikut ini beberapa tips untuk mendapatkan hasil maksimal dari data Anda.

4. Tambahkan Deskripsi

Tuliskan deskripsi singkat dengan bahasa yang mudah dipahami tentang kegunaan bot Anda.

Hal ini membantu mengatur nada dan ekspektasi: bagaimana bot harus berbicara dengan pengguna, jenis pertanyaan apa yang bisa diharapkan, dan data apa yang dapat dirujuk.

Sebagai contoh:
"Anda adalah asisten pendukung untuk tim SDM. Bantu karyawan menemukan kebijakan dan menjawab pertanyaan tentang PTO dan tunjangan. Gunakan informasi dari buku panduan karyawan dan dokumen SDM. Bersikaplah jelas dan sopan. Jika Anda tidak mengetahui sesuatu, mintalah pengguna untuk menghubungi bagian SDM."

5. Menguji dan Menyesuaikan

Uji pengaturan Anda dengan pertanyaan yang sebenarnya. Tanyakan apa yang akan ditanyakan oleh pelanggan Anda. Apakah hasilnya relevan? Akurat?

Sesuaikan bot Anda sesuai kebutuhan:

• Hasil tidak lengkap? Naikkan jumlah potongan untuk respons yang lebih lengkap.
• Respon lambat? Pilih model yang lebih cepat.
• Tanggapan yang salah? Coba model yang lebih akurat, atau tambahkan data yang relevan.

Platform sangat mudah disesuaikan, jadi menyelesaikan masalah biasanya hanya masalah konfigurasi, seperti bermain-main dengan model yang tersedia atau mengubah deskripsi.

1. Bagaimana cara mengevaluasi kinerja database vektor?

Anda sebaiknya melihat perpaduan antara kecepatan (seberapa cepat kueri mengembalikan hasil), akurasi (seberapa relevan hasilnya), dan skalabilitas (bagaimana menangani banyak data atau pengguna). Coba jalankan kueri dunia nyata dan lihat apakah hasilnya benar-benar berguna.

2. Apa saja persyaratan penyimpanan untuk data vektor berskala besar?

Tergantung pada ukuran penyematan dan seberapa banyak data yang Anda kerjakan, tetapi vektor yang padat itu dapat bertambah dengan cepat. Pikirkan GB atau bahkan TB jika Anda mengindeks jutaan item. Kompresi dan pengindeksan cerdas dapat membantu menjaga semuanya tetap efisien.

3. Apa yang terjadi jika dua dokumen yang sangat berbeda memiliki penyematan yang sama karena noise atau bias model?

Hal ini akan menghasilkan hasil pencarian yang aneh atau tidak relevan. Perbaikan yang baik adalah menyempurnakan model penyematan Anda atau melapisi filter atau pemeriksaan kata kunci agar hasilnya tetap sesuai.

4. Bagaimana data vektor dibuat versi dan dikelola dari waktu ke waktu?

Anda biasanya akan mengelolanya seperti halnya kumpulan data yang terus berkembang: menyimpan snapshot, melacak versi model penyematan, dan mengindeks ulang ketika pembaruan besar terjadi. Beberapa platform bahkan menawarkan alat bantu pembuatan versi bawaan untuk membuatnya lebih lancar.

5. Apakah mungkin untuk menggabungkan pencarian kata kunci tradisional dengan pencarian vektor?

Tentu saja, ini disebut pencarian hibrida, dan ini memberi Anda yang terbaik dari kedua dunia - kecocokan yang tepat ketika mereka penting dan hasil yang kabur dan berbasis makna ketika kata-kata tidak sesuai. Sebagian besar platform modern mendukungnya secara langsung.