Çok Ajanlı Çerçevelerle Yapay Zeka İş Akışları Oluşturma

Temsilciler sistemde çağrılabilir bileşenler olarak kaydedilir

Bir aracı herhangi bir şey yapmadan önce, çerçevenin onun varlığından haberdar olması gerekir. Bu, sisteme aracının adını, neyden sorumlu olduğunu ve hangi araçlara ya da bilgilere erişebileceğini söylemek anlamına gelir.

Çoğu çerçevede bu kurulum, her bir aracının rolünü ve nasıl etkinleştirileceğini tanımladığınız bir yapılandırma dosyası veya bazı kodlar aracılığıyla gerçekleşir. Örneğin, sisteme şunu söyleyebilirsiniz:

"Bu planlayıcıdır. Kullanıcı girdilerini okur ve bir sonraki adımda ne yapılacağına karar verir."
"Bu doğrulayıcıdır. Kullanıcı bilgilerini alır ve booking_id ve kullanıcı bilgilerini döndürür."

Bir kez kaydedildikten sonra, çerçeve bu aracıları adlarıyla "çağırabilir", yani iş akışında sıraları geldiğinde her birini nasıl çalıştıracağını bilir.

Yönlendirme aracısı bir sonraki aracının hangisi olacağına karar verir

Bir planlayıcı ajan veya denetleyici işlevi, yapay zeka ajanı yönlendirmesini yönetir. Bir sonraki adımda ne olması gerektiğine karar vermek için en son bot çıktısına, mevcut konuşma geçmişine ve bazen de orijinal kullanıcı girdisine bakar.

Bazı planlayıcılar istem tabanlıdır - bir sistem mesajı alırlar ve çalıştırılacak bir sonraki aracının adını verirler.

Diğerleri, birlikte çalıştığınız yapay zeka aracı çerçevelerine bağlı olarak kodlanmış mantık veya akış grafikleri kullanır.

Çerçeve bu çıktıyı alır ve bir sonraki aracıyı çağırmak için kullanır. Yönlendirici, görevi yapmak yerine görevi kimin yapması gerektiğine karar verir.

Veriler aracılar arasında mesajlar kullanılarak aktarılır

Aracılar belleği doğrudan paylaşmazlar. Biri çalışmayı bitirdiğinde, çıktısı bir mesaj (genellikle bir sözlük veya JSON nesnesi) halinde paketlenir ve bir sonraki ajana girdi olarak aktarılır.

Çerçeve aktarımı gerçekleştirir. Sistemin nasıl yapılandırıldığına bağlı olarak mesajı ya paylaşılan bir bellek alanında saklar ya da doğrudan bir sonraki ajanın girdi arayüzüne aktarır.

Mesajlar genellikle içerikten daha fazlasını içerir:

• Kim gönderdi (temsilci veya kullanıcı)
• İş akışında nereden geldi
• Nasıl kullanılması gerektiği (örn. tetikleyici, girdi, karar)
• Belirteç sayısı veya zaman damgaları gibi isteğe bağlı ölçümler

Bu bağlam, sistemin görevleri temiz bir şekilde yönlendirmesine yardımcı olur ve aracıların birbirinden ayrılmasını sağlar.

Yürütme, iş akışı durumu ve tetikleyiciler kullanılarak izlenir

Çerçeve, o ana kadar neler olduğunu - hangi aracıların çalıştığını, ne döndürdüklerini ve hala ne olması gerektiğini - takip eder. Bu, her adımdan sonra güncellenen bir durum nesnesinde saklanır.

Tetikleyiciler bir sonraki adımın ne olacağına karar verir. Akışı dallandırmak için çıktı değerlerini veya koşulları kullanırlar.

Bu, sistemin her bir aracıya mantık kodlamadan ilerlemesini sağlar. İş akışını etmenlerin kendileri değil, durum yönlendirir.

Tek bir aracıya aşırı yük bindirmeden mantığı ölçeklendirin

Tek bir yapay zeka ajanı, istemler, araçlar ve belirsiz sorumluluklar karmaşasına dönüşmeden önce ancak bu kadarını yapabilir. Çok ajanlı çerçeveler, bu mantığı her biri net bir görevi yerine getiren odaklanmış ajanlara bölmenizi sağlar.

Tek bir temsilciyi zayıflatmak yerine, ayrı temsilcilere alma, doğrulama veya yürütme gibi belirli adımlar atayabilir ve sistemi parça parça büyütebilirsiniz.

Tam görünürlükle hata ayıklama aracısı işbirliği

Yapay zeka ajanları birlikte çalıştığında, sorunların izini sürmek zor olabilir. Çerçeveler size her bir ajanın ne aldığını, ne döndürdüğünü ve nerede durduğunu gösterir.

Neyin bozulduğunu tahmin etmezsiniz - aktarımları inceler ve doğrudan düzeltirsiniz. Bu tür bir görünürlük, yapay zeka aracı işbirliğini yönetilebilir kılan şeydir.

Aracıları iş akışları arasında yeniden kullanma

Bir aracı çalışıyorsa, onu yeniden kullanın. Çerçeveler, aynı aracıyı yeniden yazmadan farklı akışlara eklemenizi sağlar. Bu, işleri tutarlı tutar ve testleri daha hızlı hale getirir.

Örneğin, kullanıcı girdilerini veya kimlik doğrulamasını kontrol eden bir doğrulama aracısı, aynı mantığın geçerli olduğu her yerde hem müşteri hizmetleri sohbet botlarında hem de rezervasyon sohbet botlarında kullanılabilir.

Arızaları ve yeniden denemeleri otomatik olarak ele alın

Bir aracı başarısız olduğunda, çerçeve yeniden deneyebilir, atlayabilir veya ilerleyebilir. Bu mantığı kendiniz yazmanıza gerek yoktur.  

Yerleşik geri dönüş, iş akışlarını ekstra iş gerektirmeden daha güvenilir hale getirir ve bu tür bir güvenilirlik, gerçek dünyadaki sistemlere güç veren şeydir.

Değiştirilmesi kolay temsilci akışları oluşturun

Görevleri aracılar arasında paylaştırdığınızda, bir şey her değiştiğinde tüm sistemi yeniden çalışmanız gerekmez.

Yürütmeye dokunmadan bir planlayıcıyı güncelleyebilir veya diğerlerini yeniden yazmadan bir aracının nasıl yanıt vereceğini değiştirebilirsiniz.

Bu erişim kolaylığı karşılığını veriyor-Salesforce, ajan yapay zeka kullanan ekiplerin, kısmen iş akışlarının uyarlanabilirliği sayesinde her hafta çalışan başına 11 saat tasarruf ettiğini bildiriyor.

1. Botpress

Botpress , adımlar, roller ve kanallar arasında koordinasyon sağlayabilen yapay zeka aracıları oluşturmak için görsel bir geliştirme platformudur.

Mantığı koda bağlamak yerine, aracıların akışları, belleği, koşulları ve araç çağrılarını kullanarak nasıl davranacağını tanımlarsınız.

Çoklu etmen davranışı talimatlar, iş akışları ve harici araçlar etrafında oluşturulur. Botpress akışındaki her bir düğüm, kendi talimatları ve kapsamı ile odaklanmış bir birim olarak hareket eder.

Muhakemeyi birden fazla Otonom ve Statik Düğüm arasında bölebilir, doğrulama katmanları ekleyebilir veya her şeyi tek adımda ele almak yerine kullanıcı girdisini araç tabanlı karar mantığı aracılığıyla yönlendirebilirsiniz.

Bellek her akışa göre kapsamlandırılmıştır, böylece aracılar yalnızca ihtiyaç duyduklarını kullanırlar. Girişler ve çıkışlar açıkça tanımlanmıştır ve araç çağrıları yerleşik entegrasyonlar aracılığıyla doğrudan eklenebilir.

Temel Özellikler

• Akışlar ve düğümler kullanarak görsel aracı düzenlemesi
• Kapsamlı bellek ve düğümler arasında değişken kontrolü
• Çok turlu bellek, geri dönüş mantığı ve yeniden denemeler
• API çağrıları, web kancaları ve fonksiyon girişi yoluyla araç kullanımı

2. LangChain

LangChain, istemler, araçlar ve bellek zincirlerini birbirine bağlayarak LLM uygulamalar oluşturmak için geliştirici öncelikli bir çerçevedir.

Arama ve hesaplayıcılar gibi araçlarla LLM aramalarını yapılandırmanın bir yolu olarak başladı, ancak giderek genişleyen bir ekosisteme dönüştü.

Bir sürümde öncelik "aracılara", sonra "asistanlara", sonra da "çalıştırılabilirlere" verildi. Sonuç olarak neredeyse her şeyi yapabilen güçlü bir araç seti ortaya çıktı, ancak bu araç setinde gezinmek genellikle zaman alıyor.

Araç setleri atayabilir ve aracılar arasında yönlendirme mantığı oluşturabilirsiniz. Parladığı yer modülerliktir - bileşenler yeniden kullanılabilir, karıştırılıp eşleştirilebilir ve harici API'lerle iyi entegre edilmiştir.

Ancak beklenenden daha fazla yapıştırıcı kodu yazacaksınız. Ve soyutlamalar hızla değişirken, kullandığınız yöntemin hala tercih edilen yöntem olup olmadığını kontrol etmeye değer.

Temel Özellikler

• İpuçlarının, araçların ve belleğin modüler zincirlenmesi
• LLMsler, vektör depoları ve API'ler ile entegre olur
• LangSmith ile isteğe bağlı izleme ve değerlendirmeler

3. CrewAI

CrewAI, her bir temsilcinin tanımlanmış bir rolü ve görevi olduğu çoklu temsilci iş akışları oluşturmayı kolaylaştırır. Bir ekip oluşturursunuz, hedefler atarsınız ve temsilciler ortak bir yönetici aracılığıyla koordine olur.

Sıfırdan orkestrasyon mantığı yazmadan ajan işbirliğini modellemenin en hızlı yollarından biridir.

Planlayıcı-yürütücü çiftleri, araştırma-inceleme akışları veya sorumlulukların temiz bir şekilde bölündüğü herhangi bir ekip tabanlı görev gibi kurulumlar için idealdir.

Ancak karmaşıklık eklemeye başladığınızda, soyutlama sıkılaşır. Aracıların nasıl ve ne zaman çalışacağı konusunda daha az esneklik vardır ve davranışı değiştirmek genellikle çerçevenin varsayılanlarının dışına çıkmak anlamına gelir.

Temel Özellikler

• İsimler, hedefler ve hafıza ile rol tabanlı temsilci kurulumu
• Sıralı ve paralel ajan yürütmeyi destekler
• Temsilci işbirliği için paylaşılan mürettebat belleği
• Araçlar, işlevler ve özel istemlerle kolay entegrasyon

4. AutoGPT

AutoGPT, bir GPT sohbet robotuna bir hedef verdiğinizde ve çalışmasına izin verdiğinizde neye benzediğini gösteren ilk projeydi - sürekli insan girdisi olmadan planlayın, düşünün, araştırın ve uygulayın.

Siz hedefi tanımlarsınız ve AutoGPT muhakeme adımları boyunca döngüye girer, alt hedefler oluşturur, araçları çağırır ve yol boyunca stratejisini ayarlar.

Ajan davranışını özerk ve dinamik hissettirme konusunda büyük bir adımdı. Ancak hassasiyet için tasarlanmadı.

Görev döngüsü kırılgandır ve temsilciler aynı planı yeniden yazmaya veya alakasız alt görevlerin peşinden koşmaya takılıp kalma eğilimindedir.

Belleği, araçları ve API'leri bağlayabilirsiniz - ancak her şeyi bir araya getirmek genellikle hata ayıklaması veya yönlendirmesi zor olan öngörülemeyen akışlara yol açar.

Temel Özellikler

• Kendi kendini teşvik eden ve görev planlaması yapan hedef odaklı ajan
• Otomatik alt görev oluşturma ve yürütme döngüsü
• Eklentiler ve API çağrıları aracılığıyla araç kullanımını destekler
• Özel komut dosyaları, işlevler ve entegrasyonlarla genişletilebilir

5. Otojen

Autogen, aracıların yapılandırılmış, sıra tabanlı mesajlar aracılığıyla etkileşime girdiği çoklu aracı konuşmalarına odaklanan Microsoft'un açık kaynaklı bir çerçevesidir.

Özellikle planlama - yürütme döngülerinde veya döngüde insan sistemlerinde olduğu gibi her değişim üzerinde kontrol istediğinizde iyidir.

Otojen şeffaflıkta parlıyor. Konuşmanın ortasında işlevler ekleyebilir, kararları özel mantıkla yönlendirebilir ve her bir temsilcinin tam olarak ne söylediğini ve neden söylediğini izleyebilirsiniz.

Ancak ölçeklendirmek iş gerektirir. Mesaj düzenleme esnektir, ancak soyutlanmış değildir - geçmişleri, aracı yapılandırmalarını ve adım mantığını hala kendiniz yönetiyorsunuz.

Araştırma kurulumları, kontrollü testler veya tekrarlanabilir ajan davranışları için, piyasadaki en hassas çerçevelerden biridir.

Temel Özellikler

• Sıra tabanlı çok etmenli iletişim çerçevesi
• Döngü içinde insan ve işlev çağıran aracıları destekler
• Şeffaf mesaj izleme ve özel mantık enjeksiyonu

Adım 1: Tek aracı mantığınızın nerede kırıldığını belirleyin

Botunuzda veya sisteminizde işlerin uzamaya başladığı bir yer arayın - uzun istemler veya cıvatalanmış gibi hissettiren zincirleme araç çağrıları. Bu sizin giriş noktanızdır. İşte fark edilmesi kolay bazı yaygın örnekler:

1. Kullanıcı girdisini ayrıştıran, uygunluğu kontrol eden, geri ödemeyi yapan ve onay gönderen bir geri ödeme akışı - hepsi tek bir döngüde
2. Tek bir istem zincirinde veri toplayan, formları doğrulayan, kullanıcı türlerini atayan ve e-postaları tetikleyen bir ilk katılım dizisi

Tüm sistemi yeniden tasarlamak yerine, zaten çatlaklar gösteren iş akışını izole ediyorsunuz.

Adım 2: Çerçeveye dokunmadan önce rolleri tanımlayın

Karmaşık mantığı bulduktan sonra, bunu gerçek sorumluluklara ayırın.

Eğer bir şey girdiyi doğruluyorsa, bu bir ajandır. Eğer bir şey harici bir eylemi idare ediyorsa, bu başka bir şeydir.

Bunu sade bir dille yazın - sadece aktarımların nerede olduğunu gösterecek kadar.

Ve hepsi önünüze geldiğinde, aslında neyin ayrılması gerektiğini ve neyin daraltılabileceğini göreceksiniz. Ayrıca ne tür bir çerçeveye ihtiyacınız olduğuna dair bir fikir edinirsiniz.

Her rol, kendi başına test edebileceğiniz bir şey gibi görünmelidir.

Adım 3: Çerçeveyi seçin

İş akışı tarzınıza uygun bir platform seçin.

• Görsel: Düğüm tabanlı akışlar ve kapsamlandırılmış bellek istiyorsanız Botpress.
• Kod öncelikli: Python'da mantık kurmakta rahatsanız LangChain veya CrewAI.

Çerçeve, aracıların nasıl kaydedileceğine, tetikleneceğine ve bağlanacağına karar verir.

Adım 4: İlk iş akışını oluşturun

Şimdi bu rolleri aracılara dönüştürün. Bunları çerçevenizin içinde tanımlayın - her birine bir ad, iş ve ihtiyaç duyduğu araç veya API erişimini verin.

Yerlerine oturduktan sonra onları bağlayın. Bir aracıdan diğerine geçmek için çerçevenin sağladığı yönlendirmeyi kullanın.

Buradaki amaç, kendi kulvarlarında kalan temsilcilerle uçtan uca çalışan eksiksiz bir iş akışı elde etmektir.

Adım 5: Sistemi çalıştırın ve her aktarımı inceleyin

Baştan sona tüm iş akışını tetikleyin ve neler olduğunu izleyin. Her bir aracının ne aldığını, ne döndürdüğünü ve akışın aralarında temiz bir şekilde ilerleyip ilerlemediğini izlemelisiniz.

Bir temsilci karışık girdi alıyorsa, muhtemelen işleri yanlış kapsamlandırmışsınızdır. Mantık beklenmedik bir şekilde atlarsa, yönlendirmenizin düzeltilmesi gerekir. 

Aktarmalar temizlendiğinde, çalışan bir sisteminiz olur.

Çekirdek mantığı merkezi tutun

Kritik kararları birden fazla aracıya yaymaktan kaçının. Temel muhakeme, gevşek bir şekilde birbirine bağlı parçalara bölünmek yerine tek bir yerde gerçekleştiğinde bakımı ve test edilmesi daha kolaydır.

Acente girdilerini ve çıktılarını önceden tanımlayın

Her temsilcinin açıkça tanımlanmış bir sözleşmesi olmalıdır - ne alır, ne verir. Bu, aracıların akış mantığını bozmadan değiştirilmesini veya yeni iş akışlarına eklenmesini kolaylaştırır.

Aracılar arasında iletilen her mesajı günlüğe kaydedin

Aracıların birbirlerine ne dediğini göremiyorsanız, hiçbir şeyde hata ayıklayamazsınız. Her girdi ve çıktının, akışı geriye doğru izlemek için yeterli bağlamla birlikte günlüğe kaydedildiğinden emin olun.

Gürültüyü ve maliyetleri azaltmak için kapsamlandırılmış bellek kullanın

Her temsilciye yalnızca ihtiyaç duyduğu bağlamı verin. Tam bellek erişimi, şişirilmiş istemlere, daha yüksek belirteç kullanımına ve odaklanmış olması gereken aracıların öngörülemeyen davranışlarına yol açar.

Yapay zeka projemin gerçekten çok ajanlı bir çerçeveye ihtiyacı olup olmadığını veya tek bir ajanın yeterli olup olmadığını nasıl bilebilirim?

Tek bir aracınızın istemleri veya iş akışları, özellikle birden fazla farklı görevi yerine getirirken çok uzun veya hata ayıklaması zor hale geldiyse, yapay zeka projeniz muhtemelen çok aracılı bir çerçeveye ihtiyaç duyar; oysa temel Soru-Cevap veya tek amaçlı botlar gibi daha basit kullanım durumları genellikle tek bir aracıyla iyi çalışır.

Çok aracılı bir çerçeve ile inşa etmek sadece büyük kurumsal projeler için mi yoksa küçük girişimler için de uygun mu?

Çok etmenli bir çerçeve ile inşa etmek sadece büyük işletmeler için değildir - küçük girişimler de bundan faydalanabilir, çünkü karmaşık görevler her şeyi büyük, yönetilmesi zor bir döngüye yığmak yerine uzmanlaşmış etmenlere bölündüğünde mütevazı projeler bile daha kolay hata ayıklama elde eder.

Çok etmenli bir sistem kullanmak her şeyi ayrı etmenlere bölmem gerektiği anlamına mı geliyor yoksa tek ve çok etmenli mantığı karıştırabilir miyim? 

Çok etmenli bir sistem kullanmak, her şeyi ayrı etmenlere bölmeniz gerektiği anlamına gelmez; basit görevler için tek etmenli mantığı karıştırırken, karmaşık iş akışları için çok etmenli orkestrasyonu ayırabilirsiniz.

Çok aracılı bir sistemin uygulamamda birden fazla API veya mikro hizmet kullanmaktan farkı nedir?

Çok aracılı bir sistem, birden fazla API veya mikro hizmet kullanmaktan farklıdır, çünkü API'ler ve mikro hizmetler ayrı işlevleri yerine getirirken, karmaşık iş akışlarını bağımsız olarak düzenleyemezken, yapılandırılmış mesajları ve durumu ileten farklı rollere ve muhakeme yeteneklerine sahip özel yapay zeka aracılarını koordine eder.

Çok etmenli sistemleri çalıştırmanın maliyeti tek bir büyük LLM çalıştırmaya kıyasla nasıldır?

Çok etmenli sistemleri çalıştırmanın maliyeti, tek bir büyük LLM çalıştırmaktan daha düşük olabilir, çünkü daha küçük, uzmanlaşmış etmenler, uzun istemler veya tekrarlanan bağlamlar için belirteçleri boşa harcamadan belirli görevleri verimli bir şekilde yerine getirebilir, ancak aynı zamanda orkestrasyon ve etmenler arası iletişimi yönetmek için ek yük getirir, bu nedenle tasarruf kullanım durumunuzun karmaşıklığına bağlıdır.