Botpress CEO na OpenAI o1 vs. Autonomiczne węzły

Istnieją pewne główne podobieństwa między nowym modelem o1 OpenAIa autonomicznymi węzłami Botpress , prawda?

Zdecydowanie tak. To było bardzo zabawne zobaczyć, jak wychodzi o1. Należy jednak zauważyć, że nie porównujemy tutaj jabłek z jabłkami. 

OpenAI o1 to oczywiście LLM, podczas gdy Autonomous Nodes są funkcją platformy. Możesz nawet podłączyć o1 do Botpress i używać go z autonomicznymi węzłami.  

Ale obaj używają rozumowania opartego na łańcuchu myśli, oddolnego podejścia do wyciągania wniosków na temat tego, co robić i co mówić.

Czy mógłbyś wyjaśnić rozumowanie oparte na łańcuchu myśli i czym różni się ono od sposobu, w jaki modele językowe zazwyczaj generują odpowiedzi?

Oczywiście - większość LLMs generuje odpowiedzi poprzez przewidywanie następnego słowa na podstawie poprzedniego - generują pierwsze słowo, a następnie używają go do wygenerowania następnego i tak dalej. Działa to w przypadku prostych pytań, ale zawodzi w bardziej złożonych zadaniach z wieloetapowym rozumowaniem.

Z drugiej strony, rozumowanie łańcuchowe ma miejsce, gdy sztuczna inteligencja dzieli zadanie na mniejsze kroki i wyraźnie uzasadnia każdy z nich przed przejściem do następnego. Jest to podobne do tego, w jaki sposób uczniowie są proszeni o zbudowanie odpowiedzi w problemie egzaminacyjnym STEM. 

Na przykład, jeśli sztuczna inteligencja tworzy potencjalnego klienta w CRM - gdzie musi sprawdzić, czy nie ma duplikatów, przypisać potencjalnego klienta i tak dalej - musi użyć rozumowania opartego na łańcuchu myśli, aby przemyśleć każdy krok i zaplanować pełną sekwencję działań, zanim zacznie je wykonywać. Nie zaczyna wypełniać formularza, zanim zda sobie sprawę, że jest to duplikat, wie o tym, zanim zacznie.

Dzięki temu system może obsługiwać bardziej złożone zadania z wieloma zależnościami, ale także spowalnia go, ponieważ musi się zatrzymać i pomyśleć, zamiast natychmiast generować.

Zarówno o1, jak i Autonomous Nodes używają rozumowania opartego na łańcuchu myśli - czy jest to ten sam proces w obu przypadkach, czy też istnieją między nimi różnice?

Istnieją pewne podobieństwa i różnice. Nadal używamy rozumowania opartego na łańcuchu myśli, ale ponieważ tworzymy dla prawdziwych klientów, optymalizujemy pod kątem szybkości i wydajności na kilka różnych sposobów. 

Dzięki Autonomous Nodes zaprojektowaliśmy system do obsługi wielu działań w jednym wywołaniu LLM . Chodzi o to, aby myśleć i działać w ramach tego samego procesu, aby nie tracić czasu. 

Autonomiczne węzły myślą i przekazują użytkownikowi aktualizacje, dzięki czemu użytkownik nie czeka po prostu na zakończenie procesu myślowego. Jest to bardziej podobne do naturalnych rozmów, w których osoba nie będzie czekać w napięciu przez ponad 30 sekund. Programiści mogą zajrzeć do ukrytych myśli LLM i rozwiązać problem, który poszedł nie tak.

Z drugiej strony, o1 zwraca jedną odpowiedź, a wgląd w jego proces myślowy jest ograniczony. OpenAI zapewnia podsumowanie łańcucha myśli bez pokazywania go, co czyni go trudniejszym do rozwiązania.

Czy istnieją inne różnice między nimi?

o1 wymaga od dewelopera lub platformy hostowania funkcji, które wywołują wywołania narzędzi. Każdy krok wymaga osobnego wywołania API, co oznacza, że model musi zażądać jednej akcji, poczekać na wynik, a następnie wywołać kolejną. I trzeba to wywoływać rekurencyjnie raz za razem. To sprawia, że bariera w korzystaniu z niego jest wyższa, ponieważ musisz zapewnić podstawową architekturę uruchamiania funkcji. 

Autonomiczne węzły robią to automatycznie w tle.

Jak wypada o1 pod względem kosztów i szybkości?

Załóżmy, że korzystasz z agenta LLM lub AI, aby pomóc w zadaniach Hubspot, takich jak czatowanie z odwiedzającymi witrynę jako sposób na generowanie leadów AI.

Gdybyś poprosił o1 o wypełnienie formularza leadowego na Hubspot - zakładając, że mógłbyś go podłączyć bez konektora innej firmy - zajęłoby to 12 sekund i kosztowałoby 5x więcej niż gdybyś zrobił to na Botpress.

Część szybkości wynika z konstrukcji naszej platformy opartej na schematach, co oznacza, że system z góry wie, jakie dane są potrzebne i jak wygląda ich struktura. 

Tak więc, gdy pracujesz z narzędziem takim jak HubSpot lub Salesforce, system ma już predefiniowany schemat JSON, który mówi mu, jakie dane wejściowe są wymagane - takie jak imię, adres e-mail, nazwa firmy itp. 

Pozwala to autonomicznym węzłom na rozumowanie całego zadania od początku, bez konieczności zatrzymywania się i proszenia o więcej informacji na każdym kroku.

Możesz zmniejszyć szybkość i liczbę kroków, samodzielnie dostarczając kontekst, ale kosztem poświęcenia większej ilości czasu na tworzenie aplikacji opartej na o1. Jest to więc również kwestia zwiększenia kosztów utrzymania. 

Wspomniałeś o zwiększonej niezawodności. Co sprawia, że węzły autonomiczne są bardziej niezawodne niż o1?

Największym sposobem, w jaki sprawiliśmy, że dane wyjściowe były bardziej wiarygodne, było połączenie rozumowania łańcucha myśli ze stworzonym przez nas narzędziem do wywoływania protokołów. 

To, co zrobiliśmy, to zasadniczo stworzenie środowiska, w którym może myśleć - a wszystko to w kodzie, a nie zwykłym tekście. Szczerze mówiąc, jest szybszy i bardziej niezawodny niż wersja OpenAI z kilku powodów.

Jednym z nich jest to, że może mówić jednocześnie, przez całą sekwencję działań. Jest to coś, czego model OpenAI nie robi. 

Innym powodem jest to, że sztuczna inteligencja zna schemat wyjściowy. Wie, jaki typ JSON powinna wypluwać na podstawie otrzymanego zapytania. 

I jest to coś, co deweloperzy mogą sami dostroić. Jeśli używają tego i otrzymują mnóstwo podobnych pytań od użytkowników, jak większość z nich, mogą dostroić sztuczną inteligencję tak, aby za każdym razem dawała najlepszą i najbardziej odpowiednią odpowiedź.  

W jakim stopniu wykorzystuje on JSON?

Zwykły angielski jest po prostu niewiarygodny, prawda? Nie jest wystarczająco formalny. Nie jest wystarczająco ścisły. 

Język programowania jest językiem, ale formalnym. Jest to język specyficzny dla domeny; można go używać tylko w określonych granicach i rolach składni.

Tak więc nasze narzędzie wywołuje odpowiedź w formacie JSON zamiast w języku angielskim. Jest to wyjście JSON ze schematem JSON zamiast zwykłego tekstu.

Kiedy wysyłasz żądanie utworzenia formularza leadowego w Hubspot, jest on zapisywany w JSON, a schemat - również w JSON - zawiera wszystkie właściwości, które musi zawierać, takie jak nazwa, firma itp.

Jakie są główne różnice między wywoływaniem narzędzi między węzłami autonomicznymi a modelem o1?

Nasze narzędzia są bardzo świadome kontekstu. Rozumie wszystkie systemy, wszystkie działania, które może podjąć, i sposób, w jaki te dane mogą być przekazywane do następnego narzędzia. I możemy wygenerować jeden blok kodu, który daje to wszystko razem, plus daje odpowiedź, wszystko w jednym wywołaniu LLM .

Teoretycznie można użyć interfejsu API o1 do wywoływania narzędzi, ale istnieją ograniczenia dotyczące tego, za pomocą czego można wywołać narzędzie. Ale Botpress jest do tego stworzony. Mamy zabezpieczenia na innych LLMs, w tym GPT. 

Autonomiczne węzły mogą również rozmawiać jednocześnie podczas wywoływania narzędzi, co nie jest obecnie obsługiwane przez OpenAI . Oszczędza to transfer w obie strony do serwera i zapewnia lepszy UX konwersacji, ponieważ użytkownicy są informowani przed rozpoczęciem długotrwałego zadania.

Większość organizacji jest ostrzegana przed korzystaniem z witryny ChatGPT z bezpiecznymi danymi roboczymi. Czy istnieją mniejsze obawy dotyczące autonomicznych węzłów?

Nasza platforma została stworzona z myślą o środowiskach o dużej przepustowości i małych opóźnieniach, a my opracowaliśmy ją z myślą o praktycznych potrzebach firm.

Zaletą Autonomous Nodes nie jest to, że stworzyliśmy zupełnie nowy rodzaj sztucznej inteligencji - to fakt, że wykorzystaliśmy istniejącą technologię i zastosowaliśmy inteligentną inżynierię, aby lepiej spełniała potrzeby biznesowe. 

Mamy bezpieczne piaskownice do komunikacji generowanej przez sztuczną inteligencję. Gdy korzystasz z węzła autonomicznego, uruchamia on te tajne piaskownice za darmo. Są one bezpieczne i skalowalne. Następnie piaskownica jest niszczona. 

Jest to wirtualna izolacja z dwiema warstwami - zameldowania i wymeldowania. To dość skomplikowane. Ale oznacza to, że możemy uruchamiać na dużą skalę kod wygenerowany przez LLM przy minimalnym ryzyku bezpieczeństwa.

Jeśli deweloperzy lub entuzjaści sztucznej inteligencji chcą wypróbować Autonomous Node, co muszą zrobić?

Mamy hojny darmowy poziom. Wszyscy nasi użytkownicy mogą je wypróbować. Pomyśleliśmy, że to zbyt fajna funkcja, aby ją zablokować. Więc tak, po prostu załóż darmowe konto Botpress i przekonaj się sam. 

Doskonale. Wielkie dzięki za połączenie tych dwóch funkcji. o1 trafia na pierwsze strony gazet; świetnie jest lepiej zrozumieć, w jaki sposób łączy się z tym, co rozwija Botpress .

Tworzenie agentów AI

Tworzenie niestandardowych autonomicznych agentów

Zacznij teraz

Karta kredytowa nie jest wymagana