오랜 기다림 끝에 공개된 OpenAI의 o1 모델 시리즈는 뛰어난 추론 능력으로 인공지능 분야의 큰 진전을 알렸습니다.
o1의 추론 능력은 Botpress 사용자들에게 익숙한 기능인 Autonomous Nodes와 유사합니다. 2024년 7월 출시된 Autonomous Nodes는 AI 에이전트 플랫폼 중 최초로 도입된 노드입니다.
Botpress의 CEO이자 Autonomous Nodes의 설계자인 실뱅 페롱이 두 추론 엔진의 유사점과 차이점에 대해 직접 설명했습니다.
Botpress CEO 실뱅 페롱, OpenAI o1과 Autonomous Nodes 비교
OpenAI의 새로운 o1 모델과 Botpress Autonomous Nodes 사이에는 몇 가지 주요 유사점이 있죠?
네, 확실히 있습니다. o1이 출시되는 걸 보고 꽤 흥미로웠어요. 하지만 중요한 점은, 두 가지를 완전히 같은 기준에서 비교할 수는 없다는 겁니다.
OpenAI o1은 명백히 LLM이고, Autonomous Nodes는 플랫폼의 기능입니다. 심지어 o1을 Botpress에 연결해서 Autonomous Node와 함께 사용할 수도 있습니다.
하지만 두 시스템 모두 chain-of-thought reasoning(연쇄적 사고 추론)을 사용합니다. 이는 무엇을 해야 하고, 무엇을 말해야 할지 결론에 도달하는 바텀업 방식입니다.
체인 오브 쏘트 추론이 무엇이며, 일반적인 언어 모델의 응답 생성 방식과 어떻게 다른지 설명해 주시겠어요?
물론이죠. 대부분의 LLM은 이전 단어를 바탕으로 다음 단어를 예측하며 응답을 생성합니다. 첫 단어를 만들고, 그걸 바탕으로 다음 단어를 만들고, 이런 식이죠. 이런 방식은 단순한 질문에는 잘 작동하지만, 여러 단계의 추론이 필요한 복잡한 작업에서는 한계가 있습니다.
반면, chain-of-thought reasoning은 AI가 과제를 더 작은 단계로 나누고, 각 단계마다 명확하게 추론한 뒤 다음 단계로 넘어가는 방식입니다. STEM 시험 문제에서 학생들이 답을 도출하는 과정과 비슷하죠.
예를 들어, AI가 CRM에서 리드를 생성해야 할 때, 중복 확인, 리드 할당 등 여러 단계를 거쳐야 한다면, 각 단계를 chain-of-thought reasoning으로 생각하고, 실행 전 전체 작업 순서를 계획해야 합니다. 중복인지 확인도 안 하고 바로 폼을 작성하지 않고, 시작 전에 이미 파악합니다.
이렇게 하면 여러 의존 관계가 있는 복잡한 작업도 처리할 수 있지만, 즉시 결과를 내는 대신 잠시 멈추고 생각하는 과정이 필요해 속도는 느려질 수 있습니다.
o1과 Autonomous Nodes 모두 chain-of-thought 추론을 사용합니다 – 두 시스템에서 동일한 방식으로 작동하나요, 아니면 차이점이 있나요?
유사점도 있고 차이점도 있습니다. 저희도 chain-of-thought reasoning을 사용하지만, 실제 고객 환경에 맞춰 속도와 효율성을 높이기 위해 여러 방식을 최적화했습니다.
Autonomous Nodes는 여러 작업을 한 번의 LLM 호출로 처리할 수 있도록 설계했습니다. 생각과 행동을 같은 과정에서 처리해 시간을 절약하는 것이죠.
Autonomous Nodes는 생각하는 과정에서 사용자에게 진행 상황을 알려줍니다. 사용자가 30초 넘게 아무런 안내 없이 기다리지 않도록 하는 거죠. 개발자는 LLM의 내부 사고 과정을 확인하고 문제를 진단할 수 있습니다.
반면, o1은 한 번에 하나의 답만 반환하며, 사고 과정을 자세히 볼 수 없습니다. OpenAI는 chain-of-thought의 요약만 제공해, 문제 해결이 더 까다롭습니다.
두 가지 사이에 다른 차이점이 있나요?
o1은 함수 호출을 위한 기능을 개발자나 플랫폼이 직접 호스팅해야 합니다. 각 단계마다 별도의 API 호출이 필요해, 한 작업을 요청하고 결과를 기다린 뒤 다음 작업을 또 요청해야 하죠. 이 과정을 반복해야 하므로, 실제로 사용하려면 기반 아키텍처를 직접 제공해야 합니다.
Autonomous Nodes는 이런 과정을 백그라운드에서 자동으로 처리합니다.
o1은 비용과 속도 면에서 어떻게 비교되나요?
예를 들어, LLM이나 AI 에이전트를 사용해 Hubspot에서 웹사이트 방문자와 대화하며 AI 리드 생성을 한다고 가정해봅시다.
o1에게 Hubspot에서 리드 폼을 작성하라고 하면 – 별도의 커넥터 없이 연결할 수 있다고 가정할 때 – Botpress로 처리하는 것보다 5배 더 비싸고, 12초가 걸립니다.
이런 속도 차이는 플랫폼의 스키마 기반 설계 덕분입니다. 시스템이 미리 어떤 데이터가 필요하고, 그 구조가 어떤지 알고 있기 때문이죠.
HubSpot이나 Salesforce 같은 도구를 사용할 때, 시스템은 이미 필요한 입력값(이름, 이메일, 회사명 등)을 알려주는 사전 정의된 JSON 스키마를 가지고 있습니다.
이 덕분에 Autonomous Nodes는 처음부터 전체 작업을 한 번에 추론할 수 있고, 매 단계마다 추가 정보를 요청하지 않아도 됩니다.
직접 컨텍스트를 제공하면 속도와 단계를 줄일 수 있지만, o1 기반 애플리케이션을 구축하는 데 더 많은 시간이 듭니다. 즉, 유지보수 비용이 더 높아질 수 있습니다.
신뢰성이 높아졌다고 언급하셨는데, Autonomous Nodes가 o1보다 더 신뢰할 수 있는 이유는 무엇인가요?
출력의 신뢰성을 높인 가장 큰 방법은 chain-of-thought reasoning과 저희가 만든 프로토콜 기반 툴 호출을 결합한 것입니다.
저희는 AI가 사고할 수 있는 환경을 코드로 만들었습니다. 솔직히 OpenAI 버전보다 더 빠르고 신뢰성이 높습니다.
첫째, 작업 순서 전체에서 동시에 대화가 가능합니다. OpenAI 모델은 이 기능이 없습니다.
둘째, AI가 출력 스키마를 알고 있습니다. 어떤 쿼리를 받았을 때 어떤 형태의 JSON을 내보내야 하는지 인식합니다.
그리고 개발자가 직접 튜닝할 수 있습니다. 사용자로부터 비슷한 질문이 반복된다면, AI를 조정해 항상 가장 적절한 답을 내도록 할 수 있습니다.
프로세스 중에서 JSON을 얼마나 많이 사용하나요?
일반 영어는 신뢰성이 떨어지죠. 충분히 엄격하지도, 형식적이지도 않습니다.
프로그래밍 언어도 하나의 언어지만, 훨씬 더 형식적입니다. 특정 규칙과 문법 내에서만 사용할 수 있는 도메인 특화 언어죠.
그래서 저희 툴 호출은 영어 대신 JSON으로 응답합니다. 일반 텍스트가 아니라 JSON 스키마를 따르는 JSON 출력입니다.
Hubspot에서 리드 폼 생성을 요청하면, JSON으로 작성되고, 스키마 역시 JSON으로 필요한 속성(이름, 회사 등)을 모두 명시합니다.
툴 호출 방식에서 Autonomous Node와 o1 모델의 주요 차이점은 무엇인가요?
저희 툴 호출은 맥락 인식이 매우 뛰어납니다. 모든 시스템과 가능한 작업, 데이터가 다음 툴로 어떻게 전달되는지 모두 이해합니다. 한 번의 LLM 호출로 이 모든 정보를 담은 코드 블록과 답변을 동시에 생성할 수 있습니다.
이론적으로 o1 API로도 툴 호출이 가능하지만, 호출할 수 있는 범위에 제약이 있습니다. 하지만 Botpress는 이를 위해 설계되었습니다. 저희는 GPT 등 다른 LLM 위에 자체 가드레일을 적용합니다.
Autonomous Node는 툴 호출 중에도 동시에 대화할 수 있습니다. OpenAI는 이 기능을 아직 지원하지 않습니다. 서버 왕복 횟수를 줄이고, 장시간 작업이 시작되기 전에 사용자에게 안내해 더 나은 대화 경험을 제공합니다.
대부분의 조직이 ChatGPT를 업무 데이터에 사용하는 것을 경계합니다. Autonomous Node는 이런 우려가 덜한가요?
저희 플랫폼은 대량 처리와 저지연 환경을 위해 설계되었고, 실제 기업의 요구에 맞춰 엔지니어링되었습니다.
Autonomous Node의 강점은 완전히 새로운 AI를 만든 것이 아니라, 기존 기술을 스마트하게 엔지니어링해 비즈니스에 더 적합하게 만들었다는 점입니다.
AI가 생성하는 커뮤니케이션을 위한 보안 샌드박스를 제공합니다. Autonomous Node를 사용하면 이 비밀 샌드박스가 무료로 실행됩니다. 안전하고, 확장 가능하며, 작업 후에는 샌드박스가 삭제됩니다.
이것은 두 단계로 이루어진 가상 격리 환경입니다 – 체크인과 체크아웃이 있죠. 꽤 복잡하지만, 덕분에 대규모 LLM 기반 코드를 최소한의 보안 위험으로 실행할 수 있습니다.
개발자나 AI에 관심 있는 분들이 Autonomous Node를 사용해보고 싶다면 무엇을 해야 하나요?
저희는 넉넉한 무료 요금제를 제공합니다. 모든 사용자가 직접 사용해볼 수 있습니다. 이 기능이 너무 멋져서 제한을 두고 싶지 않았어요. 그러니 무료로 Botpress 계정을 만들면 직접 확인하실 수 있습니다.
.webp)
