Botpress CEO OpenAI o1 vs Otonom Düğümler

OpenAI'un yeni o1 modeli ile Botpress Autonomous Nodes arasında bazı önemli benzerlikler var, değil mi?

Kesinlikle var. O1'in çıktığını görmek çok komikti. Ancak dikkat edilmesi gereken en önemli husus, burada elmalarla elmaları tam olarak karşılaştırmadığımızdır. 

OpenAI Otonom Düğümler bir platform özelliği iken, o1 açıkça bir LLM'dur. Hatta o1'i Botpress adresine takabilir ve Otonom Düğümlerinizle kullanabilirsiniz.  

Ancak her ikisi de ne yapılacağı ve ne söyleneceği konusunda sonuçlara ulaşmak için aşağıdan yukarıya bir yaklaşım olan düşünce zinciri muhakemesini kullanır.

Düşünce zinciri muhakemesini ve bunun dil modellerinin tipik yanıt üretme biçiminden nasıl farklı olduğunu açıklayabilir misiniz?

Elbette - çoğu LLMs bir öncekine dayanarak bir sonraki kelimeyi tahmin ederek yanıtlar üretir - ilk kelimeyi üretirler, sonra bunu bir sonrakini üretmek için kullanırlar ve bu böyle devam eder. Bu, basit soruları yanıtlamak için işe yarar, ancak çok adımlı muhakeme içeren daha karmaşık görevlerde çılgınca başarısız olur.

Öte yandan, düşünce zinciri muhakemesi, bir yapay zekanın bir görevi daha küçük adımlara ayırması ve bir sonrakine geçmeden önce her biri için açıkça muhakeme yapmasıdır. Bu, öğrencilerden bir STEM sınavı probleminde bir cevaba ulaşmalarının istenmesine benzer. 

Örneğin, bir yapay zeka CRM'de bir müşteri adayı oluşturuyorsa - burada mükerrer olup olmadığını kontrol etmesi, müşteri adayını ataması vb. gerekir - her adımı düşünmek için düşünce zinciri muhakemesini kullanması ve uygulamaya başlamadan önce tam bir eylem dizisi planlaması gerekir. Mükerrer olduğunu fark etmeden önce bir formu doldurmaya başlamaz, başlamadan önce bilir.

Böylece sistem birden fazla bağımlılığa sahip daha karmaşık görevlerin üstesinden gelebilir, ancak aynı zamanda onu yavaşlatır çünkü hemen üretmek yerine durup düşünmesi gerekir.

Hem o1 hem de Otonom Düğümler düşünce zinciri muhakemesini kullanır - bu her ikisinde de aynı süreç midir yoksa ikisi arasında farklar var mıdır?

Bazı benzerlikler ve bazı farklılıklar var. Hala düşünce zinciri mantığını kullanıyoruz, ancak gerçek dünya müşterileri için inşa ettiğimizden, hız ve verimlilik için birkaç farklı şekilde optimize ediyoruz. 

Autonomous Nodes ile sistemi tek bir LLM çağrısında birden fazla eylemi gerçekleştir ecek şekilde tasarladık. Buradaki fikir, aynı süreç içinde düşünmek ve hareket etmektir, böylece zaman kaybetmeyiz. 

Otonom Düğümler düşünür ve kullanıcıya güncellemeler verir, böylece kullanıcı sadece düşünce sürecinin bitmesini beklemez. Bu, bir kişinin 30+ saniye boyunca merak içinde bekletilmeyeceği doğal konuşmalara daha çok benzemektedir. Geliştiriciler LLM 'un gizli düşüncelerine bakabilir ve neyin yanlış gittiğini giderebilirler.

Öte yandan, o1 tek bir yanıt döndürür ve düşünce sürecine ilişkin sınırlı görünürlük vardır. OpenAI , düşünce zincirinin bir özetini göstermeden sağlar, bu da sorun gidermeyi daha zor hale getirir.

İkisi arasında başka farklar var mı?

o1, araç çağrılarını çağıran işlevleri barındırmak için bir geliştirici veya platform gerektirir. Her adım ayrı bir API çağrısı gerektirir, yani modelin bir eylem talep etmesi, sonucu beklemesi ve ardından bir sonrakini çağırması gerekir. Ve bunu özyinelemeli olarak tekrar tekrar çağırmanız gerekir. Bu, temel işlev çalıştırma mimarisini sağlamanız gerektiğinden, kullanım engelini daha yüksek hale getirir. 

Otonom Düğümler bunu arka planda otomatik olarak yapar.

O1 maliyet ve hız açısından nasıl karşılaştırılır?

Diyelim ki Hubspot görevlerine yardımcı olması için bir LLM veya AI aracısı kullanıyorsunuz, örneğin AI potansiyel müşteri oluşturmanın bir yolu olarak web sitesi ziyaretçileriyle sohbet etmek gibi.

Eğer o1'den Hubspot'ta bir müşteri adayı formu doldurmasını isteseydiniz - yani, üçüncü taraf bir bağlayıcı olmadan bağlayabileceğinizi varsayarsak - bu 12 saniye sürer ve Botpress adresinde yaptığınızdan 5 kat daha pahalıya mal olurdu.

Hızın bir kısmı platformumuzun şema tabanlı tasarımından kaynaklanıyor; bu da sistemin hangi verilere ihtiyaç duyulduğunu ve bu verilerin yapısının neye benzediğini önceden bildiği anlamına geliyor. 

Dolayısıyla, HubSpot veya Salesforce gibi bir araçla çalışırken, sistem zaten hangi girdilerin gerekli olduğunu söyleyen önceden tanımlanmış bir JSON şemasına sahiptir - ad, e-posta adresi, şirket adı vb. gibi şeyler. 

Bu, Otonom Düğümlerin her adımda durup daha fazla bilgi istemek zorunda kalmadan tüm görev boyunca en başından itibaren mantık yürütmesine olanak tanır.

Bağlamı kendiniz sağlayarak hızı ve adımları azaltabilirsiniz, ancak bunun bedeli o1 tabanlı bir uygulama oluşturmak için daha fazla zaman harcamaktır. Yani bu da bakım maliyetini artıran bir konudur. 

Yüksek güvenilirlikten bahsediyorsunuz. Autonomous Nodes'u o1'den daha güvenilir yapan nedir?

Çıktıyı daha güvenilir hale getirmemizin en büyük yolu, düşünce zinciri muhakemesini oluşturduğumuz protokol aracı çağrısı ile karıştırmaktı. 

Yaptığımız şey esasen düşünebileceği bir ortam yaratmaktı - ve hepsi kodda, düz metin değil. Dürüst olmak gerekirse, birkaç nedenden ötürü OpenAI sürümünden daha hızlı ve daha güvenilir.

Birincisi, eylemler dizisi boyunca eşzamanlı olarak konuşabilmesidir. Bu OpenAI modelinin yapmadığı bir şeydir. 

Bir başka neden de yapay zekanın çıktı şemasını bilmesidir. Aldığı sorguya göre ne tür bir JSON çıkarması gerektiğini bilir. 

Ve bu, geliştiricilerin kendilerinin ayarlayabileceği bir şey. Bunu kullanıyorlarsa ve kullanıcılardan bir sürü benzer soru alıyorlarsa, çoğu gibi, yapay zekayı her seferinde en iyi ve en uygun cevabı verecek şekilde ayarlayabilirler.  

İşlemin ne kadarı için JSON kullanıyor?

Sade İngilizce güvenilmez, değil mi? Yeterince resmi değil. Yeterince katı değil. 

Programlama dili bir dildir, ancak biçimseldir. Alana özgü bir dildir; onu yalnızca belirli sınırlar ve sözdizimi rolleri dahilinde kullanabilirsiniz.

Bu yüzden aracımız İngilizce yerine JSON dilinde yanıt çağırıyor. Düz metin yerine bir JSON şeması ile JSON çıktısı.

Hubspot'ta bir müşteri adayı formu oluşturmak için istekte bulunduğunuzda, bu form JSON olarak yazılır ve şema - yine JSON olarak - ad, şirket vb. gibi içermesi gereken tüm özellikleri verir.

Otonom Düğümler ve o1 modeli arasındaki araç çağırma arasındaki temel farklar nelerdir?

Araç çağrımız bağlam farkındalığı yüksektir. Tüm sistemlerinizi, gerçekleştirebileceği tüm eylemleri ve bu verilerin bir sonraki araca nasıl beslenebileceğini anlar. Ve tüm bunları bir arada veren, artı bir cevap veren tek bir kod bloğu oluşturabiliriz, hepsi tek bir LLM çağrısında.

Teorik olarak, araç çağırmak için o1 API'sini kullanabilirsiniz, ancak aracı ne ile çağırabileceğiniz konusunda kısıtlamalar vardır. Ancak Botpress bunun için oluşturulmuştur. GPT dahil olmak üzere diğer LLMs adreslerinin üzerinde korkuluklarımız var. 

Otonom Düğümler ayrıca araçları çağırırken aynı anda konuşabilir, bu şu anda OpenAI 'un desteklediği bir şey değildir. Bu, sunucuya gidiş gelişten tasarruf sağlar ve kullanıcılar uzun süren bir görev başlatılmadan önce bilgilendirildiği için daha iyi bir konuşma kullanıcı deneyimi sunar.

Çoğu kuruluş ChatGPT adresini güvenli iş verileriyle birlikte kullanmamaları konusunda uyarılmaktadır. Otonom Düğümler için daha az endişe var mı?

Platformumuz yüksek hacimli, düşük gecikmeli ortamlar için üretilmiştir ve işletmelerin pratik ihtiyaçları göz önünde bulundurularak tasarlanmıştır.

Autonomous Nodes'un avantajı tamamen yeni bir yapay zeka türü yaratmış olmamız değil, mevcut teknolojiyi alıp iş ihtiyaçları için daha iyi çalışmasını sağlamak üzere akıllı mühendislik uygulamış olm amızdır. 

Yapay zeka üreten iletişim için güvenli sanal alanlarımız var. Bir Otonom Düğüm kullandığınızda, bu gizli kum havuzlarını ücretsiz olarak çalıştırır. Güvenlidirler, ölçeklenebilirler. Ve daha sonra, kum havuzu yok edilir. 

Bu, giriş ve çıkış olmak üzere iki katmanı olan sanal bir izolasyondur. Oldukça karmaşıktır. Ancak bu, LLM tarafından oluşturulan büyük ölçekli kodu minimum güvenlik riskiyle çalıştırabileceğimiz anlamına geliyor.

Geliştiriciler veya yapay zeka meraklıları Autonomous Node'u denemek isterlerse ne yapmaları gerekiyor?

Cömert bir ücretsiz katmanımız var. Tüm kullanıcılarımız bunları deneyebilir. Geçit veremeyeceğimiz kadar güzel bir özellik olduğunu düşündük. Yani evet, sadece ücretsiz bir Botpress hesabı oluşturun ve kendiniz görün. 

Mükemmel. Oturup iki özellik arasındaki noktaları birleştirdiğiniz için çok teşekkürler. o1 çok fazla manşet oluyor; Botpress 'un geliştirmekte olduğu şeyle nasıl bağlantılı olduğunu daha iyi anlamak harika.