Długo wyczekiwany model o1 od OpenAI wzbudził sensację dzięki zaawansowanym możliwościom rozumowania, co stanowi istotny krok naprzód w dziedzinie sztucznej inteligencji.
Umiejętności rozumowania modelu o1 są podobne do funkcji znanej użytkownikom Botpress – Węzła Autonomicznego. Wprowadzony w lipcu 2024 roku, Węzeł Autonomiczny był pierwszym tego typu rozwiązaniem wśród platform agentów AI.
Sylvain Perron, CEO Botpress i główny architekt Węzłów Autonomicznych, opowiada o podobieństwach i różnicach między tymi dwoma rozwiązaniami opartymi na rozumowaniu.
CEO Botpress Sylvain Perron porównuje OpenAI o1 i Węzeł Autonomiczny
Istnieje wiele podobieństw między nowym modelem o1 od OpenAI a Botpress Autonomous Nodes, prawda?
Tak, zdecydowanie. To było zabawne zobaczyć premierę o1. Ale trzeba podkreślić, że nie porównujemy tutaj dokładnie tych samych rzeczy.
OpenAI o1 to oczywiście LLM, natomiast Węzły Autonomiczne to funkcja platformy. Możesz nawet podłączyć o1 do Botpress i używać go razem z Węzłami Autonomicznymi.
Oba rozwiązania korzystają z rozumowania łańcuchowego, czyli podejścia oddolnego do wyciągania wniosków na temat tego, co zrobić i co powiedzieć.
Czy możesz wyjaśnić rozumowanie chain-of-thought i czym różni się ono od typowego generowania odpowiedzi przez modele językowe?
Oczywiście – większość LLM generuje odpowiedzi, przewidując kolejne słowo na podstawie poprzedniego – generują pierwsze słowo, potem następne i tak dalej. To działa przy prostych pytaniach, ale zawodzi przy bardziej złożonych zadaniach wymagających wieloetapowego rozumowania.
Rozumowanie łańcuchowe polega na tym, że AI rozbija zadanie na mniejsze kroki i świadomie analizuje każdy z nich, zanim przejdzie do kolejnego. To trochę jak na egzaminie z przedmiotów ścisłych, gdzie trzeba krok po kroku dojść do odpowiedzi.
Na przykład, jeśli AI tworzy lead w CRM – musi sprawdzić duplikaty, przypisać lead i tak dalej – musi wykorzystać rozumowanie łańcuchowe, by przemyśleć każdy etap i zaplanować całą sekwencję działań, zanim zacznie je wykonywać. Nie zaczyna wypełniać formularza, zanim nie sprawdzi, czy to nie duplikat – wie to już na początku.
Dzięki temu system radzi sobie z bardziej złożonymi zadaniami z wieloma zależnościami, ale jednocześnie działa wolniej, bo musi się zatrzymać i przemyśleć, zamiast generować odpowiedź od razu.
Zarówno o1, jak i Autonomous Nodes wykorzystują rozumowanie łańcuchowe – czy proces ten przebiega tak samo w obu przypadkach, czy są między nimi różnice?
Są pewne podobieństwa i pewne różnice. Nadal korzystamy z rozumowania łańcuchowego, ale ponieważ tworzymy rozwiązania dla klientów biznesowych, optymalizujemy je pod kątem szybkości i wydajności na kilka sposobów.
W Węzłach Autonomicznych zaprojektowaliśmy system tak, by obsługiwał wiele akcji w jednym wywołaniu LLM. Chodzi o to, by myślenie i działanie odbywały się w tym samym procesie, bez niepotrzebnej zwłoki.
Węzły Autonomiczne myślą i przekazują użytkownikowi aktualizacje, dzięki czemu nie musi on czekać biernie na zakończenie procesu. To bardziej przypomina naturalną rozmowę, gdzie nikt nie czeka w niepewności przez 30 sekund. Programiści mogą też podejrzeć ukryte rozważania LLM i łatwiej znaleźć przyczynę problemu.
Z kolei o1 zwraca jedną odpowiedź i daje ograniczony wgląd w proces rozumowania. OpenAI udostępnia tylko podsumowanie rozumowania łańcuchowego, nie pokazując szczegółów, co utrudnia diagnozowanie błędów.
Czy są jeszcze inne różnice między nimi?
o1 wymaga, by programista lub platforma udostępniła funkcje wywołujące narzędzia. Każdy krok to osobne wywołanie API, więc model musi poprosić o wykonanie akcji, poczekać na wynik i dopiero wtedy przejść do kolejnej. Trzeba to powtarzać wielokrotnie. To podnosi próg wejścia, bo trzeba zapewnić odpowiednią infrastrukturę do uruchamiania tych funkcji.
Węzły Autonomiczne robią to automatycznie w tle.
Jak o1 wypada pod względem kosztów i szybkości?
Załóżmy, że korzystasz z LLM lub agenta AI do obsługi zadań w Hubspot, na przykład do rozmów z odwiedzającymi stronę w celu generowania leadów przez AI.
Jeśli poprosisz o1 o wypełnienie formularza leadu w Hubspot – zakładając, że udałoby się go połączyć bez zewnętrznego integratora – zajmie to 12 sekund i będzie kosztować 5 razy więcej niż w Botpress.
Część tej szybkości wynika z projektowania platformy w oparciu o schematy, dzięki czemu system od razu wie, jakie dane są potrzebne i jaką mają mieć strukturę.
Pracując z narzędziami typu HubSpot czy Salesforce, system ma już zdefiniowany schemat JSON, który określa wymagane dane wejściowe – takie jak imię, adres e-mail, nazwa firmy itd.
To pozwala Węzłom Autonomicznym przemyśleć całe zadanie od początku, bez konieczności przerywania i dopytywania o kolejne informacje na każdym etapie.
Możesz skrócić czas i liczbę kroków, dostarczając kontekst samodzielnie, ale wtedy budowa aplikacji opartej na o1 zajmie więcej czasu. To też oznacza wyższe koszty utrzymania.
Wspominasz o zwiększonej niezawodności. Co sprawia, że Autonomous Nodes są bardziej niezawodne niż o1?
Największą poprawę niezawodności osiągnęliśmy, łącząc rozumowanie łańcuchowe z naszym protokołem wywoływania narzędzi.
W skrócie stworzyliśmy środowisko, w którym AI może myśleć – i to wszystko w kodzie, a nie w zwykłym tekście. Szczerze mówiąc, to szybsze i bardziej niezawodne niż wersja OpenAI, z kilku powodów.
Po pierwsze, AI może komunikować się równolegle podczas wykonywania kolejnych działań. Tego model OpenAI nie robi.
Po drugie, AI zna schemat wyjściowy. Wie, jaki typ JSON powinien wygenerować na podstawie otrzymanego zapytania.
Dodatkowo programiści mogą sami dostosować działanie. Jeśli użytkownicy często zadają podobne pytania, można tak ustawić AI, by zawsze udzielało najlepszej i najbardziej adekwatnej odpowiedzi.
W jakim stopniu wykorzystuje JSON w tym procesie?
Zwykły angielski jest po prostu zawodny, prawda? Nie jest wystarczająco formalny ani precyzyjny.
Język programowania to też język, ale formalny. To język dziedzinowy – można go używać tylko w określonych granicach i zgodnie z określoną składnią.
Dlatego nasze wywołania narzędzi odpowiadają w JSON zamiast po angielsku. To odpowiedzi w formacie JSON ze schematem JSON, a nie zwykły tekst.
Gdy wysyłasz żądanie utworzenia formularza leadu w Hubspot, jest ono zapisane w JSON, a schemat – również w JSON – określa wszystkie wymagane właściwości, takie jak imię, firma itd.
Jakie są główne różnice w wywoływaniu narzędzi między Węzłami Autonomicznymi a modelem o1?
Nasze wywoływanie narzędzi jest bardzo świadome kontekstu. Rozumie wszystkie twoje systemy, dostępne akcje i wie, jak przekazać dane do kolejnego narzędzia. Możemy wygenerować jeden blok kodu, który zawiera to wszystko i od razu daje odpowiedź – wszystko w jednym wywołaniu LLM.
Teoretycznie można użyć API o1 do wywoływania narzędzi, ale są ograniczenia co do tego, z czym można je wywołać. Botpress jest do tego stworzony. Mamy zabezpieczenia nad innymi LLM, w tym GPT.
Węzły Autonomiczne mogą także komunikować się równolegle podczas wywoływania narzędzi, czego OpenAI obecnie nie obsługuje. To pozwala uniknąć dodatkowych opóźnień i zapewnia lepsze doświadczenie rozmowy, bo użytkownik jest informowany przed rozpoczęciem długotrwałego zadania.
Większość firm jest ostrzegana przed używaniem ChatGPT z poufnymi danymi. Czy w przypadku Węzłów Autonomicznych jest mniej obaw?
Nasza platforma jest stworzona do środowisk o dużym wolumenie i niskich opóźnieniach, a projektowaliśmy ją z myślą o praktycznych potrzebach biznesu.
Zaletą Węzłów Autonomicznych nie jest to, że stworzyliśmy zupełnie nowy rodzaj AI – lecz to, że wykorzystaliśmy istniejącą technologię i zastosowaliśmy sprytne rozwiązania inżynierskie, by lepiej odpowiadała na potrzeby firm.
Mamy bezpieczne piaskownice do generowania komunikacji przez AI. Korzystając z Węzła Autonomicznego, uruchamiasz takie tajne piaskownice bez dodatkowych kosztów. Są bezpieczne, skalowalne, a po zakończeniu działania piaskownica jest usuwana.
To wirtualna izolacja z dwoma warstwami – wejście i wyjście. To dość skomplikowane, ale dzięki temu możemy uruchamiać kod generowany przez LLM na dużą skalę przy minimalnym ryzyku dla bezpieczeństwa.
Jeśli deweloperzy lub entuzjaści AI chcą wypróbować Autonomous Node, co powinni zrobić?
Oferujemy bardzo hojny darmowy pakiet. Wszyscy nasi użytkownicy mogą z niego skorzystać. Uznaliśmy, że to zbyt ciekawa funkcja, by ją ograniczać. Wystarczy założyć darmowe konto w Botpress i można samemu sprawdzić, jak to działa.
.webp)
