OpenAI’nin uzun zamandır beklenen o1 modeli serisi, gelişmiş akıl yürütme yeteneğiyle gündeme oturdu; bu, yapay zekada önemli bir adımdı.
o1’in akıl yürütme yetenekleri, Botpress kullanıcılarının aşina olduğu bir özelliğe – Otonom Düğüm’e – oldukça benziyor. Temmuz 2024’te piyasaya sürülen Otonom Düğüm, AI ajanı platformları arasında ilk örnekti.
Botpress CEO’su ve platformun Otonom Düğümlerinin baş mimarı Sylvain Perron, iki akıl yürütme yapısının benzerliklerini ve farklarını açıklıyor.
Botpress CEO’su Sylvain Perron, OpenAI o1 ile Otonom Düğümü karşılaştırıyor
OpenAI'nin yeni o1 modeli ile Botpress Otonom Düğümleri arasında bazı önemli benzerlikler var, doğru mu?
Evet, kesinlikle var. o1’in çıkışını görmek oldukça komikti. Ama şunu belirtmek gerekir ki burada tam olarak aynı şeyleri karşılaştırmıyoruz.
OpenAI o1, elbette, bir LLM; Otonom Düğümler ise bir platform özelliği. Hatta o1’i Botpress’e entegre edip Otonom Düğümlerinizle birlikte kullanabilirsiniz.
Ama ikisi de zincirleme düşünme akıl yürütmesi kullanıyor; yani ne yapılacağı ve ne söyleneceği konusunda sonuca ulaşmak için tabandan yukarıya bir yaklaşım izliyorlar.
Zincirleme düşünce akıl yürütmesini açıklayabilir misiniz ve bunun dil modellerinin genellikle yanıt üretme biçiminden nasıl farklılaştığını anlatabilir misiniz?
Tabii – çoğu LLM, yanıtları önceki kelimeye göre bir sonraki kelimeyi tahmin ederek üretir – önce ilk kelimeyi, sonra onu kullanarak bir sonrakini ve böyle devam eder. Bu, basit soruları yanıtlamak için işe yarar, ancak çok adımlı karmaşık görevlerde ciddi şekilde başarısız olur.
Zincirleme düşünme ise, bir yapay zekanın bir görevi daha küçük adımlara bölüp, her adımı tek tek akıl yürütüp, bir sonrakine geçmeden önce değerlendirmesidir. Bu, öğrencilerin bir STEM sınavında cevaba adım adım ulaşmasının istenmesine benzer.
Örneğin, bir yapay zeka bir CRM’de yeni bir müşteri kaydı oluşturuyorsa – yani kopya kontrolü, atama gibi işlemler yapacaksa – her adımı düşünmek için zincirleme düşünme akıl yürütmesi kullanması gerekir ve başlamadan önce tüm işlem sırasını planlar. Yani, formu doldurmaya başlamadan önce kaydın kopya olup olmadığını bilir.
Bu sayede sistem, birden fazla bağımlılığı olan daha karmaşık görevleri yönetebilir; fakat aynı zamanda, hemen yanıt üretmek yerine durup düşünmesi gerektiğinden işlemi yavaşlatır.
Hem o1 hem de Otonom Düğümler zincirleme düşünme kullanıyor – bu süreç ikisinde de aynı mı, yoksa aralarında fark var mı?
Bazı benzerlikler ve bazı farklar var. Biz hâlâ zincirleme düşünme kullanıyoruz, fakat gerçek dünya müşterileri için geliştirdiğimizden, hız ve verimlilik için bazı farklı optimizasyonlar yaptık.
Otonom Düğümleri tek bir LLM çağrısında birden fazla işlemi yönetebilecek şekilde tasarladık. Yani düşünme ve aksiyon aynı süreçte gerçekleşiyor, böylece zaman kaybı olmuyor.
Otonom Düğümler düşünürken kullanıcıya güncellemeler verir, böylece kullanıcı sadece düşünme sürecinin bitmesini beklemez. Bu, gerçek sohbetlere daha yakındır; kimse 30 saniyeden fazla bekletilmez. Geliştiriciler, LLM’in gizli düşüncelerini inceleyip neyin yanlış gittiğini görebilir.
Öte yandan, o1 tek bir yanıt döndürür ve düşünce sürecine sınırlı erişim vardır. OpenAI, zincirleme düşünmenin özetini sunar ama ayrıntılarını göstermez; bu da hata ayıklamayı zorlaştırır.
İkisi arasında başka farklar var mı?
o1, geliştiricinin veya bir platformun fonksiyonları barındırmasını gerektirir. Her adım ayrı bir API çağrısı ister; yani model bir işlem ister, sonucu bekler, sonra bir sonraki için tekrar çağrı yapar. Bunu defalarca tekrarlamanız gerekir. Bu da kullanım eşiğini yükseltir, çünkü altyapıyı sizin sağlamanız gerekir.
Otonom Düğümler ise bunu arka planda otomatik olarak yapar.
o1 maliyet ve hız açısından nasıl?
Diyelim ki bir LLM veya yapay zeka ajanı, Hubspot’ta web sitesi ziyaretçileriyle sohbet ederek yapay zeka ile müşteri adayı oluşturma işlemlerinde size yardımcı oluyor.
o1’e Hubspot’ta bir müşteri adayı formu doldurtmak isteseniz – üçüncü parti bir bağlayıcı olmadan bağlayabildiğinizi varsayarsak – bu işlem 12 saniye sürer ve Botpress’e göre 5 kat daha pahalıya mal olur.
Bu hızın bir kısmı, platformumuzun şema tabanlı tasarımından geliyor; sistem, hangi veriye ihtiyaç duyduğunu ve bu verinin yapısını baştan biliyor.
Yani HubSpot veya Salesforce gibi bir araçla çalışırken, sistemin önceden tanımlı bir JSON şeması oluyor ve hangi girdilerin gerekli olduğunu – isim, e-posta, şirket adı gibi – biliyor.
Bu sayede Otonom Düğümler görevin tamamını baştan sona akıl yürüterek planlayabiliyor, her adımda tekrar tekrar bilgi istemek zorunda kalmıyor.
Kendiniz bağlam sağlayarak hızı ve adım sayısını azaltabilirsiniz, fakat bu da o1 tabanlı bir uygulama geliştirirken daha fazla zaman harcamanız anlamına gelir. Yani bu, bakım maliyetinin de artması anlamına gelir.
Daha yüksek güvenilirlikten bahsediyorsunuz. Otonom Düğümler'i o1'den daha güvenilir yapan nedir?
Çıktının daha güvenilir olmasını sağlayan en önemli şey, zincirleme düşünmeyi kendi geliştirdiğimiz protokol tabanlı araç çağırma ile birleştirmemiz oldu.
Yaptığımız şey aslında onun düşünebileceği bir ortam yaratmak – hem de tamamen kodda, düz metin değil. Açıkçası, birkaç nedenle OpenAI versiyonundan daha hızlı ve daha güvenilir.
Bunlardan biri, tüm işlem sırası boyunca aynı anda konuşabiliyor olması. OpenAI modeli bunu yapamıyor.
Bir diğer sebep ise, yapay zekanın çıktı şemasını bilmesi. Gelen sorguya göre hangi türde JSON üretmesi gerektiğini biliyor.
Ayrıca geliştiriciler bunu kendileri de ayarlayabiliyor. Eğer sıkça benzer sorular geliyorsa, yapay zekayı her seferinde en uygun yanıtı verecek şekilde optimize edebiliyorlar.
Sürecin ne kadarında JSON kullanıyor?
Düz İngilizce pek güvenilir değildir, değil mi? Yeterince resmi ve katı değildir.
Programlama dili de bir dildir, ama resmidir. Alanına özgü bir dildir; sadece belirli sınırlar ve sözdizimi kuralları içinde kullanılabilir.
Bu yüzden araç çağrılarımız İngilizce yerine JSON ile yanıt veriyor. Yani çıktı düz metin yerine JSON şemasıyla birlikte JSON olarak geliyor.
Hubspot’ta bir müşteri adayı formu oluşturmak istediğinizde, bu JSON ile yazılır ve şema – yine JSON olarak – gerekli tüm özellikleri (isim, şirket vb.) içerir.
Otonom Düğümler ile o1 modeli arasında araç çağırma açısından temel farklar neler?
Bizim araç çağırmamız oldukça bağlam duyarlıdır. Tüm sistemlerinizi, yapılabilecek işlemleri ve verinin bir sonraki araca nasıl aktarılacağını anlar. Tek bir kod bloğunda tüm bunları ve yanıtı bir arada, tek bir LLM çağrısıyla üretebiliriz.
Teorik olarak, o1 API’siyle de araç çağırma yapılabilir, ancak çağrılabilecek araçlar konusunda kısıtlamalar var. Botpress ise bunun için tasarlandı. GPT dahil diğer LLM’lerin üzerine ek güvenlik katmanlarımız var.
Otonom Düğümler ayrıca araç çağırırken aynı anda konuşabilir; bu, OpenAI’nin şu an desteklemediği bir özellik. Bu, sunucuya gidiş-dönüş süresini azaltır ve uzun sürecek bir işlem başlamadan önce kullanıcıya bilgi vererek daha iyi bir sohbet deneyimi sunar.
Çoğu kuruluşa, ChatGPT’yi güvenli iş verileriyle kullanmamaları tavsiye ediliyor. Otonom Düğümler için bu endişeler daha az mı?
Platformumuz yüksek hacimli ve düşük gecikmeli ortamlar için tasarlandı ve işletmelerin pratik ihtiyaçları göz önünde bulundurularak geliştirildi.
Otonom Düğümler’in avantajı, tamamen yeni bir yapay zeka türü yaratmamız değil; mevcut teknolojiyi akıllıca mühendislikle iş ihtiyaçlarına daha uygun hale getirmemizdir.
Yapay zekanın ürettiği iletişimler için güvenli alanlar sunuyoruz. Bir Otonom Düğüm kullandığınızda, bu gizli sandıklar ücretsiz olarak çalışır. Güvenlidirler, ölçeklenebilirdirler. Sonrasında ise bu sandık yok edilir.
Bu, iki katmanlı sanal bir izolasyondur – giriş ve çıkış kontrolleriyle. Oldukça karmaşık. Ancak bu, büyük ölçekli LLM tarafından üretilen kodları minimum güvenlik riskiyle çalıştırabilmemiz anlamına geliyor.
Geliştiriciler veya yapay zeka meraklıları Otonom Düğümü denemek isterlerse ne yapmalılar?
Oldukça cömert bir ücretsiz katmanımız var. Tüm kullanıcılarımız bu özelliği deneyebilir. Bu kadar havalı bir özelliği kısıtlamak istemedik. Yani, sadece ücretsiz bir Botpress hesabı oluşturun ve kendiniz görün.
.webp)
