Yapay zekada geri getirme ile artırılmış nesil (RAG) nedir?

RAG, kuruluşların geleneksel LLM kullanımından daha az riskle yapay zekayı işe koymalarına olanak tanır.

Daha fazla işletme yapay zeka çözümleri sundukça, geri kazanımlı nesil daha popüler hale geliyor. İlk kurumsal sohbet robotlarında riskli hatalar ve halüsinasyonlar görüldü. 

RAG, şirketlerin LLMs 'un gücünden yararlanmasına olanak tanırken, üretken çıktıyı kendi özel iş bilgilerine dayandırır. 

Geri çağırma destekli üretim nedir?

YZ'de geri alma ile artırılmış üretim (RAG), a) ilgili harici bilgileri ve b) YZ tarafından üretilen yanıtları birleştiren, doğruluğu ve alaka düzeyini artıran bir tekniktir.

Büyük dil modellerinin (LLMs) oluşturulmasına güvenmek yerine, RAG modellerinden gelen yanıtlar, bir şirketin web sayfası veya bir İK politikası belgesi gibi YZ aracı oluşturucu tarafından dikte edilen bilgi tabanları tarafından bilgilendirilir.

RAG iki ana adımda çalışır:

1. Geri alma 

Model, yapılandırılmış veya yapılandırılmamış kaynaklardan (ör. veritabanları, PDF'ler, HTML dosyaları veya diğer belgeler) ilgili verileri arar ve alır. Bu kaynaklar yapılandırılmış (örn. tablolar) veya yapılandırılmamış (örn. onaylı web siteleri) olabilir.

2. Nesil

Bilgi alındıktan sonra LLM adresine gönderilir. LLM bu bilgiyi doğal dilde bir yanıt oluşturmak için kullanır ve onaylanmış verileri kendi dilbilimsel yetenekleriyle birleştirerek doğru, insan benzeri ve markaya uygun yanıtlar oluşturur.

RAG Kullanım Örnekleri

RAG'ın amacı nedir? Kuruluşların ilgili, bilgilendirici ve doğru çıktılar sağlamasına olanak tanır. 

RAG, yanlış LLM çıktı veya halüsinasyon riskini azaltmanın doğrudan bir yoludur.

Örnek 1: Hukuk Bürosu

Bir hukuk firması, bir yapay zeka sisteminde bir RAG kullanabilir:

• Araştırma sırasında belge veri tabanlarından ilgili içtihatları, emsalleri ve yasal kararları arayın.
• Dava dosyalarından ve geçmiş kararlardan önemli gerçekleri çıkararak dava özetleri oluşturun.
• Çalışanlara ilgili mevzuat güncellemelerini otomatik olarak sağlayın.

Örnek 2: Emlak Danışmanlığı

Bir emlak acentesi, bir yapay zeka sisteminde bir RAG kullanabilir:

• Mülk işlem geçmişleri ve mahalle suç istatistiklerinden elde edilen verileri özetleyin.
• Mülkiyet işlemleriyle ilgili yasal soruları yerel mülkiyet yasaları ve yönetmeliklerine atıfta bulunarak yanıtlayın.
• Mülk durum raporlarından, piyasa trendlerinden ve geçmiş satışlardan veri çekerek değerleme süreçlerini kolaylaştırın.

Örnek 3: E-Ticaret Mağazası

Bir e-ticaret, bir yapay zeka sisteminde şu amaçlarla bir RAG kullanabilir:

• Kişiselleştirilmiş ürün önerilerini bilgilendirmek için şirket veri tabanından ürün bilgilerini, teknik özelliklerini ve incelemelerini toplayın.
• Kullanıcı tercihlerine göre özelleştirilmiş alışveriş deneyimleri oluşturmak için sipariş geçmişini alın.
• Müşteri segmentasyon verilerini alarak ve bunları son satın alma modelleriyle birleştirerek hedefli e-posta kampanyaları oluşturun.

RAG'ın Faydaları

Sorgulayan herkesin bildiği gibi ChatGPT ya da Claude bilir, LLMs 'da asgari düzeyde güvenlik önlemleri vardır. 

Uygun gözetim olmadan, yanlış ve hatta zararlı bilgiler üretebilirler, bu da onları gerçek dünyadaki dağıtımlar için güvenilmez hale getirir. 

RAG, yanıtları güvenilir, güncel veri kaynaklarına dayandırarak bir çözüm sunar ve bu riskleri önemli ölçüde azaltır.  

Halüsinasyonları ve yanlışlıkları önleyin

Geleneksel dil modelleri genellikle halüsinasyonlar üretir - kulağa inandırıcı gelen ancak gerçekte yanlış veya alakasız yanıtlar.

RAG, yanıtları güvenilir ve hiper-ilgili veri kaynaklarına dayandırarak halüsinasyonları azaltır. 

Geri alma adımı, modelin doğru ve güncel bilgilere atıfta bulunmasını sağlayarak halüsinasyon olasılığını önemli ölçüde azaltır ve güvenilirliği artırır.

Güncel bilgileri alın

LLMs birçok görev için güçlü bir araç olsa da, ısmarlama iş bilgisi de dahil olmak üzere nadir veya yeni bilgiler hakkında doğru bilgi sağlayamazlar.

Ancak RAG, modelin web sitesi, tablolar veya veritabanları dahil olmak üzere herhangi bir kaynaktan gerçek zamanlı bilgi almasına olanak tanır. 

Bu, bir doğruluk kaynağı güncellendiği sürece modelin güncel bilgilerle yanıt vermesini sağlar.

Karmaşık bağlamlarda iletişim kurabilme

Geleneksel LLM kullanımının bir diğer zayıf yönü de bağlamsal bilgi kaybıdır.

LLMs uzun veya karmaşık konuşmalarda bağlamı korumakta zorlanırlar. Bu durum genellikle eksik veya parçalı yanıtlarla sonuçlanır.

Ancak bir RAG modeli, bilgileri doğrudan anlamsal olarak bağlantılı veri kaynaklarından çekerek bağlam farkındalığı sağlar. 

Özellikle kullanıcıların ihtiyaçlarına yönelik ekstra bilgilerle - ürün kataloğuyla donatılmış bir satış sohbet robotu gibi - RAG, yapay zeka ajanlarının bağlamsal konuşmalara katılmasına olanak tanır. 

RAG nasıl çalışır?

1. Belge Yükleme

İlk olarak, kurucu YZ aracısının kütüphanesine bir belge veya dosya yükler. Dosya, YZ'nin bilgi tabanının bir parçasını oluşturan bir web sayfası, PDF veya desteklenen başka bir format olabilir.

2. Belge Dönüştürme

Birçok dosya türü olduğundan - PDF'ler, web sayfaları vb. - sistem bu dosyaları standartlaştırılmış bir metin formatına dönüştürerek yapay zekanın ilgili bilgileri işlemesini ve almasını kolaylaştırır.

3. Yığınlama ve Depolama

Dönüştürülen belge daha sonra daha küçük, yönetilebilir parçalara veya yığınlara ayrılır. Bu parçalar bir veritabanında saklanır ve yapay zeka ajanının bir sorgu sırasında ilgili bölümleri verimli bir şekilde aramasına ve almasına olanak tanır.

4. Kullanıcı Sorgusu

Bilgi tabanları kurulduktan sonra, bir kullanıcı yapay zeka aracısına bir soru sorabilir. Sorgu, kullanıcının ne sorduğunu anlamak için doğal dil işleme (NLP) kullanılarak işlenir.

5. Bilgi Edinme

Yapay zeka ajanı, yüklenen belgelerden kullanıcının sorusunu yanıtlayabilecek en alakalı bilgi parçalarını bulmak için geri alma algoritmalarını kullanarak depolanan yığınlar arasında arama yapar.

6. Nesil

Son olarak, yapay zeka ajanı, alınan bilgileri dil modeli yetenekleriyle birleştirerek, sorguya ve alınan verilere dayalı olarak tutarlı, bağlamsal olarak doğru bir yanıt oluşturarak bir yanıt oluşturacaktır.

Gelişmiş RAG Özellikleri

Eğer bir geliştirici değilseniz, tüm RAG'lerin eşit yaratılmadığını öğrenmek sizi şaşırtabilir. 

Farklı sistemler, ihtiyaçlarına, kullanım durumlarına veya beceri yeteneklerine bağlı olarak farklı RAG modelleri oluşturacaktır.

Bazı YZ platformları, YZ yazılımınızın doğruluğunu ve güvenilirliğini daha da artırabilecek gelişmiş RAG özellikleri sunacaktır.

Anlamsal ve naif yığınlama

Naive chunking, bir belgenin anlam veya bağlamdan bağımsız olarak, metni 500 kelimelik bölümlere ayırmak gibi sabit boyutlu parçalara ayrılmasıdır. 

Anlamsal yığınlama ise belgeyi içeriğine göre anlamlı bölümlere ayırır.

Paragraflar veya konular gibi doğal araları dikkate alarak her bir yığının tutarlı bir bilgi parçası içermesini sağlar.

Zorunlu atıflar

Finans veya sağlık hizmetleri gibi yüksek riskli konuşmaları yapay zeka ile otomatikleştiren sektörler için alıntılar, bilgi alırken kullanıcılara güven aşılamaya yardımcı olabilir.

Geliştiriciler, RAG modellerine gönderilen herhangi bir bilgi için alıntı sağlamaları talimatını verebilirler. 

Örneğin, bir çalışan yapay zekalı bir chatbottan sağlık yardımları hakkında bilgi isterse, chatbot yanıt verebilir ve ilgili çalışan yardımları belgesine bir bağlantı sağlayabilir. 

Özel Bir RAG Yapay Zeka Aracısı Oluşturun

En yeni LLMs 'un gücünü benzersiz kurumsal bilginizle birleştirin.

Botpress , esnek ve sonsuza kadar genişletilebilir bir yapay zeka sohbet robotu platformudur.

Kullanıcıların herhangi bir kullanım durumu için her tür yapay zeka aracısı veya sohbet robotu oluşturmasına olanak tanır ve piyasadaki en gelişmiş RAG sistemini sunar. 

Sohbet robotunuzu herhangi bir platforma veya kanala entegre edin ya da önceden oluşturulmuş entegrasyon kütüphanemizden seçim yapın. Botpress YouTube kanalındaki eğitimlerle veya Botpress Academy adresindeki ücretsiz kurslarla başlayın.  

Bugün inşa etmeye başlayın. Ücretsiz. 

SSS

1. RAG'nin bir LLM'ye ince ayar yapmaktan farkı nedir?

RAG (Retrieval-Augmented Generation) ince ayarlamadan farklıdır çünkü RAG orijinal LLM 'yi değiştirmeden tutar ve çalışma zamanında ilgili belgeleri alarak harici bilgi enjekte eder. İnce ayar, eğitim verilerini kullanarak modelin ağırlıklarını değiştirir, bu da daha fazla hesaplama gerektirir ve her güncelleme için tekrarlanması gerekir.

2. Ne tür veri kaynakları RAG için uygun değildir?

RAG için uygun olmayan veri kaynakları arasında taranmış belgeler, görüntü tabanlı PDF'ler, transkriptsiz ses dosyaları ve güncel olmayan veya çelişkili içerikler gibi metin olmayan formatlar yer alır. Bu tür veriler, alınan içeriğin doğruluğunu azaltır.

3. RAG, hızlı mühendislik gibi bağlam içi öğrenme tekniklerine kıyasla nasıldır?

RAG, bilgi istemine statik, manuel olarak yerleştirilmiş örneklere güvenmek yerine, sorgu zamanında büyük bir dizinlenmiş bilgi tabanından ilgili içeriği alarak bilgi istemi mühendisliğinden farklıdır. Bu, RAG'nin daha iyi ölçeklenmesini ve yeniden eğitim olmadan güncel bilgiyi korumasını sağlar.

4. RAG'yi OpenAI, Anthropic veya Mistral gibi üçüncü taraf LLMs 'lerle kullanabilir miyim?

Evet, RAG'yi OpenAI, Anthropic, Mistral veya diğerlerinin LLMs 'leriyle, alma işlem hattını bağımsız olarak ele alarak ve alınan bağlamı API'si aracılığıyla LLM 'ye göndererek kullanabilirsiniz. LLM , istemler aracılığıyla bağlamsal girdi almayı desteklediği sürece RAG modelden bağımsızdır.

5. RAG özellikli bir YZ ajanı için devam eden bakım neye benziyor?

RAG özellikli bir YZ aracısı için devam eden bakım, bilgi tabanının yeni veya düzeltilmiş belgelerle güncellenmesini, içeriğin periyodik olarak yeniden indekslenmesini, erişim kalitesinin değerlendirilmesini, yığın boyutunun ve gömme yöntemlerinin ayarlanmasını ve aracının yanıtlarının sapma veya halüsinasyon sorunlarına karşı izlenmesini içerir.