Botpress CEO on OpenAI o1 대 자율 노드

OpenAI의 새로운 o1 모델과 Botpress 자율 노드 사이에는 몇 가지 주요 유사점이 있지요?

물론 있습니다. O1이 나오는 것을 보고 정말 재미있었어요. 하지만 여기서 주목해야 할 점은 사과와 사과를 비교하는 것이 아니라는 점입니다. 

OpenAI o1은 당연히 LLM 이며, 자율 노드는 플랫폼 기능입니다. o1을 Botpress 에 연결하여 자율 노드와 함께 사용할 수도 있습니다.  

하지만 둘 다 사고의 연쇄 추론, 즉 상향식 접근 방식을 사용하여 무엇을 해야 하고 무엇을 말해야 하는지에 대한 결론에 도달합니다.

사고 연쇄 추론과 언어 모델이 일반적으로 응답을 생성하는 방식과 어떻게 다른지 설명해 주시겠어요?

물론 대부분의 LLMs 은 이전 단어를 기반으로 다음 단어를 예측하여 응답을 생성합니다. 즉, 첫 번째 단어를 생성한 다음 이를 사용하여 다음 단어를 생성하는 식으로 응답을 생성합니다. 이는 간단한 질문에 대한 답변에는 효과적이지만 다단계 추론이 필요한 복잡한 작업에서는 크게 실패합니다.

반면에 연쇄 추론은 AI가 작업을 더 작은 단계로 나누고 각 단계를 명시적으로 추론한 후 다음 단계로 넘어가는 방식입니다. 이는 STEM 시험 문제에서 학생들이 답을 찾는 방식과 유사합니다. 

예를 들어, 인공지능이 CRM에서 리드를 생성하는 경우(중복 여부를 확인하고 리드를 할당하는 등의 작업을 수행해야 하는 경우), 연쇄 추론을 사용하여 각 단계를 생각하고 실행을 시작하기 전에 전체 작업 시퀀스를 계획해야 합니다. 양식이 중복된다는 사실을 깨닫기 전에 양식을 채우기 시작하는 것이 아니라 시작하기 전에 이미 알고 있습니다.

따라서 시스템은 여러 종속성이 있는 더 복잡한 작업을 처리할 수 있지만, 즉시 생성하는 대신 잠시 멈추고 생각해야 하기 때문에 속도가 느려집니다.

o1과 자율 노드 모두 연쇄 추론을 사용하는데, 둘 다 동일한 프로세스인가요, 아니면 둘 사이에 차이점이 있나요?

몇 가지 유사점과 차이점이 있습니다. 저희는 여전히 연쇄 추론을 사용하지만, 실제 고객을 위해 개발하기 때문에 속도와 효율성을 위해 몇 가지 다른 방식으로 최적화합니다. 

저희는 자율 노드를 통해 한 번의 LLM 호출로 여러 작업을 처리할 수 있도록 시스템을 설계했습니다. 동일한 프로세스 내에서 생각하고 행동하여 시간을 낭비하지 않도록 하자는 취지입니다. 

자율 노드는 사용자가 단순히 생각 과정이 끝날 때까지 기다리지 않도록 사용자에게 생각하고 업데이트를 제공합니다. 이는 자연스러운 대화와 더 유사하며, 사용자가 30초 이상 긴장된 상태로 기다리지 않도록 합니다. 개발자는 LLM 의 숨겨진 생각을 들여다보고 무엇이 잘못되었는지 문제를 해결할 수 있습니다.

반면에 o1은 하나의 답변만 반환하고 사고 과정에 대한 가시성이 제한적이며, OpenAI 은 사고의 흐름을 보여주지 않고 요약만 제공하므로 문제 해결이 더 까다롭습니다.

둘 사이에 다른 차이점이 있나요?

o1은 개발자 또는 플랫폼이 도구 호출을 호출하는 함수를 호스팅해야 합니다. 각 단계마다 별도의 API 호출이 필요하므로 모델은 하나의 작업을 요청하고 결과를 기다린 다음 다음 작업을 호출해야 합니다. 그리고 이 과정을 반복해서 재귀적으로 호출해야 합니다. 따라서 기본 함수 실행 아키텍처를 제공해야 하므로 사용 장벽이 높아집니다. 

자율 노드는 백그라운드에서 이 작업을 자동으로 수행합니다.

o1은 비용과 속도 면에서 어떻게 비교되나요?

LLM 또는 AI 에이전트를 사용하여 웹사이트 방문자와의 채팅과 같은 Hubspot 작업을 지원하여 AI 리드 생성을 수행한다고 가정해 보겠습니다.

타사 커넥터 없이 연결할 수 있다고 가정했을 때 o1에게 Hubspot에서 리드 양식을 작성하도록 요청하면 Botpress 에서 작성하는 것보다 12초가 더 걸리고 비용이 5배 더 많이 듭니다.

속도 속도의 일부는 플랫폼의 스키마 기반 설계에서 비롯되는데, 이는 시스템이 필요한 데이터와 해당 데이터의 구조를 미리 파악하고 있다는 의미입니다. 

따라서 이름, 이메일 주소, 회사명 등 필요한 입력을 알려주는 사전 정의된 JSON 스키마가 이미 HubSpot이나 Salesforce와 같은 도구로 작업할 때 시스템에 있습니다. 

이를 통해 자율 노드는 각 단계마다 멈춰서 추가 정보를 요청할 필요 없이 처음부터 전체 작업을 추론할 수 있습니다.

컨텍스트를 직접 제공함으로써 속도와 단계를 줄일 수 있지만, 그 대가로 o1 기반 애플리케이션을 구축하는 데 더 많은 시간이 소요됩니다. 따라서 유지 관리 비용이 증가한다는 문제도 있습니다. 

안정성이 높아졌다고 언급하셨습니다. 오토노믹 노드가 o1보다 더 안정적인 이유는 무엇인가요?

결과물의 신뢰성을 높인 가장 큰 방법은 우리가 만든 프로토콜 도구 호출에 연쇄 추론을 혼합한 것이었습니다. 

우리가 한 일은 본질적으로 일반 텍스트가 아닌 코드로 생각할 수 있는 환경을 만드는 것이었습니다. 솔직히 몇 가지 이유로 OpenAI 버전보다 더 빠르고 안정적입니다.

하나는 일련의 동작을 통해 동시에 대화할 수 있다는 것입니다. 이는 OpenAI 모델에서는 지원하지 않는 기능입니다. 

또 다른 이유는 AI가 출력 스키마에 대해 알고 있기 때문입니다. 수신한 쿼리에 따라 어떤 유형의 JSON을 뱉어내야 하는지 알고 있습니다. 

그리고 개발자가 직접 튜닝할 수 있는 기능입니다. 개발자가 이 기능을 사용하면서 사용자로부터 비슷한 질문을 많이 받는다면, 대부분의 경우처럼 매번 가장 적절하고 최선의 답변을 제공하도록 AI를 튜닝할 수 있습니다.  

프로세스의 어느 정도에 JSON을 사용하나요?

평범한 영어는 신뢰할 수 없죠? 충분히 형식적이지 않아요. 충분히 엄격하지 않습니다. 

프로그래밍 언어는 언어이지만 형식적인 언어입니다. 도메인별 언어이므로 특정 경계와 구문 역할 내에서만 사용할 수 있습니다.

따라서 저희 툴은 영어가 아닌 JSON으로 응답을 호출합니다. 일반 텍스트가 아닌 JSON 스키마를 사용한 JSON 출력입니다.

Hubspot에서 리드 양식 생성을 요청하면 JSON으로 작성되며, 스키마는 이름, 회사 등과 같이 포함해야 하는 모든 속성을 JSON으로 제공합니다.

자율 노드와 o1 모델 간의 도구 호출의 주요 차이점은 무엇인가요?

저희의 도구 호출은 고도로 컨텍스트를 인식합니다. 모든 시스템과 수행할 수 있는 모든 작업, 그리고 해당 데이터를 다음 도구에 어떻게 공급할 수 있는지 이해합니다. 그리고 이 모든 것을 한 번에 제공하는 하나의 코드 블록을 생성하여 LLM 호출 한 번으로 답변을 제공할 수 있습니다.

이론적으로는 o1 API를 사용하여 도구 호출을 수행할 수 있지만 도구 호출에 사용할 수 있는 항목에는 제약이 있습니다. 하지만 Botpress 은 이를 위해 만들어졌습니다. GPT 을 비롯한 다른 LLMs 에도 가드 레일이 있습니다. 

자율 노드는 도구를 호출하면서 동시에 대화할 수도 있는데, 현재 OpenAI 에서는 지원하지 않는 기능입니다. 이렇게 하면 서버로 가는 왕복 시간을 절약할 수 있고, 장시간 실행되는 작업이 시작되기 전에 사용자에게 정보를 제공하므로 더 나은 대화형 UX를 제공할 수 있습니다.

대부분의 조직은 보안 업무 데이터에 ChatGPT 을 사용하지 말라는 경고를 받습니다. 자율 노드에 대한 우려는 덜한가요?

저희 플랫폼은 대용량, 저지연 환경을 위해 구축되었으며, 비즈니스의 실질적인 요구사항을 염두에 두고 설계되었습니다.

자율 노드의 장점은 완전히 새로운 유형의 AI를 만들었다는 것이 아니라 기존 기술에 스마트 엔지니어링을 적용하여 비즈니스 요구에 더 잘 맞도록 만들었다는 것입니다. 

저희는 AI가 통신을 생성할 수 있는 안전한 샌드박스를 보유하고 있습니다. 자율 노드를 사용하면 이러한 비밀 샌드박스를 무료로 실행할 수 있습니다. 안전하고 확장 가능합니다. 그리고 그 후에는 샌드박스가 파기됩니다. 

이것은 체크인과 체크아웃이라는 두 가지 계층으로 이루어진 가상 격리입니다. 꽤 복잡하죠. 하지만 이는 보안 위험을 최소화하면서 대규모 LLM-생성 코드를 실행할 수 있다는 것을 의미합니다.

개발자나 AI 애호가가 자율 노드를 사용해보고 싶다면 어떻게 해야 할까요?

넉넉한 무료 티어를 제공합니다. 모든 사용자가 사용해 볼 수 있습니다. 저희는 이 기능이 너무 멋진 기능이라 생각했습니다. 무료 계정( Botpress )을 만들어 직접 확인해 보세요. 

완벽하네요. 두 기능 사이의 점을 연결해 주셔서 감사합니다. o1은 많은 헤드라인을 장식하고 있습니다. Botpress 개발 중인 것과 어떻게 연결되는지 더 잘 이해할 수 있어서 좋습니다.

AI 에이전트 구축

맞춤형 자율 에이전트 구축

지금 시작하기

신용카드 필요 없음