Apakah penjanaan dipertingkatkan semula (RAG) dalam AI?

'RAG' pada latar belakang hitam dengan imej biru abstrak.

RAG membolehkan organisasi meletakkan AI untuk berfungsi - dengan risiko yang lebih rendah daripada tradisional LLM penggunaan.

Penjanaan ditambah perolehan menjadi lebih popular apabila lebih banyak perniagaan memperkenalkan penyelesaian AI. Chatbot perusahaan awal melihat kesilapan dan halusinasi yang berisiko.

RAG membolehkan syarikat memanfaatkan kuasa LLMs sambil membumikan output generatif dalam pengetahuan perniagaan khusus mereka.

Apakah penjanaan dipertingkatkan semula?

Penjanaan dipertingkatkan semula (RAG) dalam AI ialah teknik yang menggabungkan a) mendapatkan semula maklumat luaran yang berkaitan dan b) respons yang dijana AI, meningkatkan ketepatan dan kaitan.

Bina Ejen AI

Bina ejen AI dengan RAG

Mula sekarang

Kad kredit tidak diperlukan

Daripada bergantung pada penjanaan model bahasa yang besar ( LLMs ), respons daripada model RAG dimaklumkan oleh pangkalan pengetahuan yang ditentukan oleh pembina ejen AI – seperti halaman web syarikat atau dokumen dasar HR.

RAG beroperasi dalam dua langkah utama:

1. Pengambilan semula

Model mencari dan mendapatkan semula data yang berkaitan daripada sumber berstruktur atau tidak berstruktur (cth pangkalan data, PDF, fail HTML atau dokumen lain). Sumber ini boleh berstruktur (cth jadual) atau tidak berstruktur (cth. laman web yang diluluskan).

2. Generasi

Selepas dapatan semula, maklumat dimasukkan ke dalam LLM . The LLM menggunakan maklumat untuk menjana respons bahasa semula jadi, menggabungkan data yang diluluskan dengan keupayaan linguistiknya sendiri untuk mencipta respons yang tepat, seperti manusia dan pada jenama.

Contoh kes penggunaan RAG

Ilustrasi wanita di tangga dengan teleskop.

Apa guna RAG? Ia membolehkan organisasi menyediakan output yang relevan, bermaklumat dan tepat.

RAG ialah cara langsung untuk mengurangkan risiko tidak tepat LLM keluaran atau halusinasi.

Contoh 1: Firma Guaman

Firma guaman mungkin menggunakan RAG dalam sistem AI untuk:

Cari undang-undang kes, preseden dan ketetapan undang-undang yang berkaitan daripada pangkalan data dokumen semasa penyelidikan.
Hasilkan ringkasan kes dengan mengekstrak fakta utama daripada fail kes dan keputusan lepas.
Menyediakan pekerja dengan kemas kini peraturan yang berkaitan secara automatik.

Contoh 2: Agensi Hartanah

Agensi hartanah mungkin menggunakan RAG dalam sistem AI untuk:

Bentangkan penyenaraian harta daripada berbilang sumber data berdasarkan pilihan pelanggan.
Buat laporan perbandingan hartanah dengan menganalisis harga sejarah dan data transaksi.
Tarik undang-undang dan peraturan pengezonan tempatan secara automatik yang berkaitan dengan hartanah tertentu.

Contoh 3: Kedai E-Dagang

E-dagang mungkin menggunakan RAG dalam sistem AI untuk:

Kumpulkan maklumat produk, spesifikasi dan ulasan daripada pangkalan data syarikat untuk memaklumkan cadangan produk yang diperibadikan.
Dapatkan semula sejarah pesanan untuk menjana pengalaman membeli-belah tersuai yang disesuaikan dengan pilihan pengguna.
Menyediakan kemas kini masa nyata tentang ketersediaan produk dan anggaran penghantaran dengan mengakses data rantaian bekalan.

Kebaikan RAG

Ilustrasi lelaki yang sesuai dengan busur dan anak panah menyasar sasaran.

Seperti yang diketahui oleh sesiapa yang telah bertanya kepada ChatGPT atau Claude, LLMs mempunyai perlindungan minimum terbina dalam.

Tanpa pengawasan yang sewajarnya, mereka boleh menghasilkan maklumat yang tidak tepat atau malah berbahaya, menjadikannya tidak boleh dipercayai untuk penggunaan dunia sebenar.

RAG menawarkan penyelesaian dengan mengasaskan respons dalam sumber data yang dipercayai dan terkini, dengan ketara mengurangkan risiko ini.

Mencegah halusinasi dan ketidaktepatan

Model bahasa tradisional sering menghasilkan halusinasi — respons yang terdengar meyakinkan tetapi sebenarnya tidak betul atau tidak relevan.

RAG mengurangkan halusinasi dengan mengasaskan respons dalam sumber data yang boleh dipercayai dan sangat berkaitan.

Langkah mendapatkan semula memastikan model merujuk maklumat yang tepat dan terkini, yang dengan ketara mengurangkan kemungkinan halusinasi dan meningkatkan kebolehpercayaan.

Dapatkan maklumat terkini

manakala LLMs ialah alat yang berkuasa untuk banyak tugas, mereka tidak dapat memberikan maklumat yang tepat tentang maklumat yang jarang berlaku atau terkini – termasuk pengetahuan perniagaan yang dipesan lebih dahulu.

Tetapi RAG membenarkan model untuk mengambil maklumat masa nyata daripada mana-mana sumber, termasuk tapak web, jadual atau pangkalan data.

Ini memastikan bahawa, selagi sumber kebenaran dikemas kini, model akan bertindak balas dengan maklumat terkini.

Berkomunikasi dalam konteks yang kompleks

Satu lagi kelemahan tradisional LLM penggunaan adalah kehilangan maklumat kontekstual. LLMs berjuang untuk mengekalkan konteks dalam perbualan yang panjang atau rumit. Ini selalunya menghasilkan respons yang tidak lengkap atau berpecah-belah.

Tetapi model RAG membenarkan kesedaran konteks dengan menarik maklumat terus daripada sumber data yang dipautkan secara semantik.

Dengan maklumat tambahan yang ditujukan khusus kepada keperluan pengguna – seperti bot sembang jualan yang dilengkapi dengan katalog produk – RAG membenarkan ejen AI untuk mengambil bahagian dalam perbualan kontekstual.

Cara RAG berfungsi, langkah demi langkah

Ilustrasi lelaki yang sesuai menolak batu ke atas bukit.

1. Muat Naik Dokumen

Pertama, pembina memuat naik dokumen atau fail ke pustaka ejen AI mereka. Fail itu boleh menjadi halaman web, PDF atau format lain yang disokong, yang menjadi sebahagian daripada pangkalan pengetahuan AI.

2. Penukaran Dokumen

Memandangkan terdapat banyak jenis fail – PDF, halaman web, dsb. – sistem menukar fail ini kepada format teks piawai, menjadikannya lebih mudah untuk AI memproses dan mendapatkan maklumat yang berkaitan daripadanya.

3. Pemotongan dan Penyimpanan

Dokumen yang ditukar kemudiannya dipecahkan kepada kepingan atau ketulan yang lebih kecil dan boleh diurus. Potongan ini disimpan dalam pangkalan data, membolehkan ejen AI mencari dan mendapatkan semula bahagian yang berkaitan dengan cekap semasa pertanyaan.

4. Pertanyaan Pengguna

Selepas pangkalan pengetahuan disediakan, pengguna boleh bertanya soalan kepada ejen AI. Pertanyaan diproses menggunakan pemprosesan bahasa semula jadi (NLP) untuk memahami perkara yang ditanya oleh pengguna.

5. Pencarian Pengetahuan

Ejen AI mencari melalui potongan yang disimpan, menggunakan algoritma perolehan semula untuk mencari cebisan maklumat yang paling relevan daripada dokumen yang dimuat naik yang boleh menjawab soalan pengguna.

6. Generasi

Akhir sekali, ejen AI akan menjana respons dengan menggabungkan maklumat yang diperoleh dengan keupayaan model bahasanya, menghasilkan jawapan yang koheren dan tepat mengikut konteks berdasarkan pertanyaan dan data yang diperoleh.

Ciri lanjutan RAG

Ilustrasi wanita yang sesuai berdiri di atas mentol dengan teleskop.

Jika anda bukan pembangun, anda mungkin terkejut apabila mengetahui bahawa tidak semua RAG dicipta sama.

Sistem yang berbeza akan membina model RAG yang berbeza, bergantung pada keperluan, kes penggunaan atau keupayaan kemahiran mereka. Sesetengah platform AI akan menawarkan ciri RAG termaju t

Pecahan semantik vs naif

Pecahan naif ialah apabila dokumen dibahagikan kepada kepingan bersaiz tetap, seperti memotong teks kepada bahagian 500 perkataan, tanpa mengira makna atau konteks.

Pecahan semantik, sebaliknya, memecahkan dokumen kepada bahagian yang bermakna berdasarkan kandungan. Ia mempertimbangkan rehat semula jadi, seperti perenggan atau topik, memastikan setiap bahagian mengandungi sekeping maklumat yang koheren.

petikan wajib

Untuk industri yang mengautomasikan perbualan berisiko tinggi dengan AI - seperti kewangan atau penjagaan kesihatan - petikan boleh membantu menanamkan kepercayaan kepada pengguna apabila menerima maklumat.

Pembangun boleh mengarahkan model RAG mereka untuk menyediakan petikan untuk sebarang maklumat yang dihantar.

Sebagai contoh, jika pekerja meminta chatbot AI untuk maklumat tentang manfaat kesihatan, chatbot boleh membalas dan memberikan pautan kepada dokumen faedah pekerja yang berkaitan.

Bina ejen AI anda sendiri dengan RAG

Gabungkan kuasa terkini LLMs dengan pengetahuan perusahaan anda yang unik.

Botpress ialah platform chatbot AI yang fleksibel dan boleh dilanjutkan tanpa henti. Ia membolehkan pengguna membina sebarang jenis ejen AI atau chatbot untuk sebarang kes penggunaan – dan ia menawarkan sistem RAG yang paling maju di pasaran.

Sepadukan chatbot anda ke mana-mana platform atau saluran, atau pilih daripada perpustakaan integrasi pra-bina kami. Mulakan dengan tutorial dari Botpress Saluran YouTube atau dengan kursus percuma daripada Botpress Academy .

Mula membina hari ini. Ia percuma.