Chain-of-thought 프롬프트란 무엇인가요?

GPT 챗봇이나 ChatGPT를 사용해 본 적이 있다면, 출력 품질이 들쭉날쭉하다는 점을 느꼈을 것입니다.

어떤 때는 딱 맞는 답을 내놓기도 하고, 또 어떤 때는 AI의 ‘지능’이 허상처럼 느껴지기도 합니다.

ChatGPT를 더 잘 활용하려면 프롬프트 작성 방식을 개선해보세요. 체인 오브 쏘트 프롬프트는 LLM 에이전트가 답변을 생성하기 전에 단계별로 논리적으로 사고하도록 유도합니다.

최신 AI 모델과 기능은 체인 오브 쏘트 추론을 내장해, 추가 프롬프트 없이도 문제를 자동으로 단계별로 추론할 수 있습니다.

Chain-of-thought 프롬프트란 무엇인가요?

체인 오브 쏘트 프롬프트는 AI에서 복잡한 작업을 단계별로 나누어, 각 단계를 추론한 뒤 답변하도록 모델에 지시하는 프롬프트 엔지니어링 기법입니다.

‘체인 오브 쏘트 추론’이라는 용어도 들을 수 있습니다. 이는 모델이 주어진 작업을 단계별로 추론하는 과정을 의미합니다.

OpenAI o1 모델은 이미 연쇄적 사고 추론이 내장되어 있어 별도의 프롬프트가 필요하지 않습니다. 하지만, 어떤 LLM 기반 챗봇에서도 연쇄적 사고 프롬프트를 활용할 수 있습니다.

체인 오브 쏘트 추론은 어떻게 작동하나요?

연쇄적 사고 추론은 문제를 더 작고 논리적인 단계로 나누어 AI 챗봇이 순차적으로 해결하도록 하는 방식입니다.

먼저 AI가 문제의 핵심 요소를 파악합니다. 그런 다음 각 부분을 순차적으로 처리하며, 한 단계가 다음 단계로 어떻게 이어지는지 고려합니다. 각 단계가 이전 단계에 기반해 쌓이면서 AI가 논리적으로 결론에 도달할 수 있게 합니다.

연쇄적 사고 유도 프롬프트 예시

유명한 ‘딸기’ 프롬프트

ChatGPT와 다른 LLM에는 잘 알려진 약점이 있습니다. 그 중 하나는 ‘strawberry’라는 단어에 ‘R’이 몇 개 들어있는지 제대로 파악하지 못한다는 점입니다. (아마도 o1 모델 코드명이 Strawberry인 이유일 것입니다.)

ChatGPT-4o는 연쇄적 사고 추론을 사용하지 않습니다. 대신 학습 데이터를 참고해 각 단어가 이전 단어 뒤에 올 확률을 바탕으로 답변을 생성합니다. 대부분 그럴듯하게 들릴 수 있지만, 실제로는 인간 언어를 흉내 내는 것일 뿐, 추론이나 조사 과정을 거치는 것은 아닙니다.

ChatGPT-4o에 유명한 딸기 문제를 물어보면, 정답을 내놓지 못합니다:

‍

하지만, 연쇄적 사고 유도 기법을 사용하면 LLM 기반 챗봇이 올바른 답변에 도달하도록 도울 수 있습니다.

‍

OpenAI의 o1-preview로 구동되는 최신 ChatGPT는 추가 프롬프트 없이도 체인 오브 쏘트(chain-of-thought) 추론을 사용하는 최초의 주요 LLM입니다.

두 번째 ChatGPT-4o 프롬프트와 동일한 과정을 자동으로 따르도록 지시받았기 때문에, 처음 시도에서 바로 정답을 도출합니다. 유일한 차이점은 추가 프롬프트 없이 이 과정을 수행한다는 점입니다.

수학

예전 버전의 ChatGPT에 초등학교 수학 문제를 물어보면 항상 정답을 맞히지는 못했습니다.

여러 단계를 거치는 수학 문제는 추론이 필요합니다. 이전의 LLM에서는 이런 능력이 없었습니다. 각 단계를 나눌 수는 있어도, 올바른 절차를 모르면 LLM이 도움을 줄 수 없었습니다.

ChatGPT-4o는 문제의 일련의 단계를 분해해 답을 추론할 수 있습니다:

Hubspot에 연결된 AI 에이전트

실제 적용 예시로, Hubspot에 통합된 LLM 기반 AI 에이전트를 들어보겠습니다. 영업팀은 이 AI 에이전트를 활용해 여러 채널에서 수집된 신규 리드를 처리합니다.

시나리오

‍영업 담당자가 새로운 리드를 AI 에이전트에게 보내 Hubspot에 등록하고 첫 연락 이메일을 보내달라고 요청하지만, 해당 리드가 이미 잠재 고객인 회사에 소속되어 있다면 등록하지 않도록 합니다.

연쇄적 사고 추론이 없는 LLM

‍LLM 기반 AI 에이전트가 리드를 등록하고 이메일을 보내지만, 해당 회사가 이미 잠재 고객인지 확인하지 않아 중요한 조건을 놓칩니다.

연쇄적 사고 추론이 가능한 LLM

‍LLM 기반 AI 에이전트는 해당 회사가 이미 잠재 고객인지 확인한 후 행동을 결정합니다. 잠재 고객이면 등록과 이메일 발송을 건너뛰고, 아니라면 리드를 등록하고 이메일을 보내 영업 담당자의 지시를 정확히 따릅니다.

언제 연쇄적 사고 프롬프트를 사용해야 하나요?

Chain-of-thought 프롬프트는 단계별 추론이 필요한 상황에 가장 적합합니다.

논리적 추론, 수학 문제, 절차적 작업, 여러 단계가 필요한 답변 등은 자동화에 적합한 대표적인 예입니다.

그런데 잠깐: 추론이 그렇게 좋다면 왜 항상 사용하지 않을까요?

좋은 질문입니다. 모든 질문에 추론이 필요한 것은 아닙니다. 예를 들어:

• ‘캐나다의 수도는 어디인가요?’와 같은 단순 사실 질문
• ‘145 + 37은 얼마인가요?’ 같은 단일 단계 문제
• ‘동료에게 프로젝트가 끝났는지 정중하게 묻는 3문장 이메일 작성’과 같은 콘텐츠 생성 작업

프롬프트 변경 vs 연쇄적 사고 프롬프트

이름은 비슷하지만, 프롬프트 체이닝과 체인 오브 쏘트 프롬프트는 생성형 AI 결과를 개선하는 서로 다른 프롬프트 전략입니다.

연쇄 사고 프롬프트

체인 오브 쏘트 프롬프트에서는 사용자가 AI에게 답변의 근거를 한 번에 설명하도록 유도합니다. AI는 문제 해결 과정을 단계별로 설명하지만, 하나의 프롬프트와 응답으로 이뤄집니다.

예를 들어, 체인 오브 쏘트 프롬프트는 한 번의 메시지로 다음과 같이 요청할 수 있습니다:

"HR팀이 5명의 직원 평가를 검토해야 합니다. 각 평가에는 30분이 걸리고, 사전 준비에 15분이 필요합니다. 시니어 평가는 각 10분이 추가로 소요됩니다. 시니어 5건과 주니어 25건을 모두 완료하는 데 걸리는 시간은? 단계별로 추론 과정을 설명하세요."

프롬프트 연쇄

프롬프트 체이닝에서는 작업을 여러 단계로 나누어, 각 단계마다 별도의 프롬프트를 사용하고 이전 결과를 바탕으로 다음 단계를 진행합니다. 이를 통해 AI가 복잡한 작업을 구조적으로 처리하도록 유도할 수 있습니다.

첫 번째 프롬프트 예시는 다음과 같습니다:

프롬프트 1: 기업이 원격 근무로 전환할 때 직면할 수 있는 주요 과제를 파악하세요.

출력:

• 소통의 어려움
• 생산성 유지
• 기술 인프라
• 직원 참여도

다음 프롬프트에서는 이러한 개념을 더 깊이 다룰 수 있습니다. 예를 들어:

프롬프트 2: 회사가 원격 근무로 전환할 때 발생하는 커뮤니케이션 격차를 어떻게 해결할 수 있는지 알려주세요.

다음 출력 결과를 바탕으로, 체인의 다음 단계는 다음과 같을 수 있습니다:

프롬프트 3: 기업들이 이러한 솔루션을 도입할 때 흔히 겪는 어려움은 무엇인가요?

이처럼 두 전략은 비슷해 보이지만, 생성형 AI에서 더 깊이 있고 관련성 높은 콘텐츠를 얻기 위해 서로 다른 접근 방식을 사용합니다.

Botpress에서의 Chain-of-thought 프롬프트 활용

Botpress 사용자는 이미 연쇄적 사고(chain-of-thought) 추론을 활용하는 기능에 익숙합니다.

Autonomous Node는 2024년 7월 Botpress에서 처음 공개된 AI 에이전트 구축 플랫폼의 기능입니다. Autonomous Node는 여러 단계의 워크플로우를 자동화하고 스스로 의사결정을 내릴 수 있습니다.

Autonomous Node는 ‘당신의 목적은 유효한 리드를 생성하는 것입니다. 사용자가 구매 의사를 보이면 Salesforce에 리드를 생성하세요.’와 같은 간단한 문장으로 생성하고 프롬프트를 줄 수 있습니다.

이 Autonomous Node로 구축한 AI 에이전트는 목표 달성을 위해 다양한 행동을 스스로 취합니다. 사람이 설계한 워크플로우에 얽매이지 않고, 필요에 따라 다양한 LLM을 전환하며 속도 또는 성능을 우선시하는 결정을 내릴 수 있습니다.

맞춤형 자율 에이전트 구축

Botpress는 진정한 자율형 에이전트를 구축할 수 있는 유일한 AI 에이전트 플랫폼입니다.

개방적이고 유연한 Botpress Studio는 HR부터 리드 생성까지 다양한 산업에서 무한한 활용이 가능합니다. 사전 구축된 통합 라이브러리와 다양한 튜토리얼을 통해 누구나 쉽게 AI 에이전트를 처음부터 만들 수 있습니다.

지금 바로 시작하세요. 무료입니다.

또는 영업팀에 문의하세요.

자주 묻는 질문

1. chain-of-thought 프롬프트가 AI 모델에만 유용한가요, 아니면 인간의 문제 해결 방식도 반영하나요?

Chain-of-thought 프롬프트는 AI 모델뿐 아니라 인간의 문제 해결 방식과도 유사합니다. 사람들이 복잡한 문제를 단계별로 논리적으로 해결하는 과정을 모방하기 때문입니다.

2. 체인 오브 쏘트(chain-of-thought) 추론은 단순히 '단계별로 생각하기'와 어떻게 다른가요?

‘단계별로 생각하기’는 일반적인 접근법이지만, 체인 오브 쏘트 추론은 더 구조적이고 체계적입니다. AI 모델이 중간 추론 과정을 명확하게 설명하도록 유도해, 결론만 바로 내리지 않게 합니다.

3. 일부 LLM이 기본적으로 연쇄적 사고 추론을 사용하지 않는 이유는 무엇인가요?

일부 LLM, 특히 초기 또는 소형 모델은 기본적으로 체인 오브 쏘트 추론을 사용하지 않습니다. 이들은 다단계 출력을 생성하도록 미세 조정되지 않았고, 대신 학습 데이터 패턴을 바탕으로 가장 그럴듯한 답을 예측하는 데 집중합니다.

4. chain-of-thought 프롬프트가 추론 중 모델을 '학습'시키는 형태인가요?

아니요, chain-of-thought 프롬프트는 훈련의 한 형태가 아닙니다. 모델의 가중치나 지식을 변경하지 않고, 프롬프트를 통해 추론 구조를 유도해 출력 결과에 영향을 주는 방식입니다.

5. 체인 오브 쏘트 프롬프트가 항상 정확도를 높이나요?

체인 오브 쏘트 프롬프트가 항상 정확도를 높이는 것은 아닙니다. 여러 단계를 거치는 추론이 필요한 작업에는 도움이 되지만, 단순한 작업에는 오히려 복잡성만 늘리고 성능을 떨어뜨릴 수 있습니다.