ChatGPT 어떻게 작동하나요?

생성

ChatGPT 은 텍스트, 코드, 이미지, 사운드를 생성할 수 있는 생성형 AI 모델입니다. 제너레이티브 AI의 다른 예로는 DALL-E 같은 이미지 생성 도구나 오디오 생성기가 있습니다.

사전 교육

ChatGPT 의 '사전 학습' 측면은 인터넷의 모든 것을 알고 있는 것처럼 보이는 이유입니다. GPT 모델은 '비지도 학습'이라는 프로세스를 통해 대량의 데이터에 대해 학습되었습니다.

이전에는 ChatGPT, AI 모델은 지도 학습을 통해 구축되었습니다. 즉, 입력과 출력에 명확한 레이블을 부여하고 이를 서로 매핑하도록 학습하는 방식이었습니다. 이 과정은 사람이 데이터 세트를 컴파일해야 했기 때문에 매우 느렸습니다.

초기 GPT 모델은 학습된 대규모 데이터 세트에 노출되었을 때 다양한 소스로부터 언어 패턴과 문맥적 의미를 흡수했습니다. 

ChatGPT 은 일반 지식 챗봇으로, 대중에게 공개되기 전에 이미 방대한 데이터 세트를 학습한 상태입니다.

GPT 엔진을 더욱 훈련하여 고유한 조직을 위한 보고서 작성과 같은 특정 작업에 특화하고자 하는 사용자는 LLMs 을 사용자 지정하는 기술을 사용할 수 있습니다.  

트랜스포머

트랜스포머는 2017년 바스와니 등이 "주의력만 있으면 된다"라는 제목의 논문에서 소개한 신경망 아키텍처의 한 유형입니다. 트랜스포머 이전에는 텍스트 시퀀스를 처리하는 데 순환 신경망(RNN)과 장단기 기억(LSTM) 네트워크 같은 모델이 일반적으로 사용되었습니다. 

RNN과 LSTM 네트워크는 사람처럼 텍스트 입력을 순차적으로 읽습니다. 하지만 트랜스포머 아키텍처는 문장의 각 단어를 동시에 처리하고 평가할 수 있기 때문에 일부 단어가 문장의 중간이나 끝에 있더라도 더 관련성이 높은 것으로 점수를 매길 수 있습니다. 이를 자기 주의 메커니즘이라고 합니다. 

문장을 예로 들어 보겠습니다: "쥐가 너무 커서 새장에 들어가지 못했습니다."

트랜스포머는 '새장'보다 '마우스'라는 단어가 더 중요하다고 점수를 매기고 문장의 '그것'이 마우스를 가리킨다는 것을 정확하게 식별할 수 있습니다. 

그러나 RNN과 같은 모델은 '그것'이 가장 최근에 처리된 명사이므로 '그것'을 케이지로 해석할 수 있습니다.

'트랜스포머' 측면을 통해 ChatGPT 이전 버전보다 문맥을 더 잘 이해하고 더 지능적인 응답을 생성할 수 있습니다. 

자연어 처리란 무엇인가요?

자연어 처리(NLP)는 자연어를 통한 컴퓨터와 인간 간의 상호 작용에 초점을 맞춘 인공 지능의 한 분야입니다. 

이를 통해 기계는 인간의 언어를 의미 있고 유용한 방식으로 이해하고 해석하며 생성할 수 있습니다.

NLP 대 NLU 대 NLG

NLP는 자연어 이해(NLU), 자연어 생성(NLG) 등 다양한 하위 분야를 포괄하는 광범위한 분야입니다. 

NLP는 가장 중요한 영역이며, NLU와 NLG는 그 안의 전문 영역입니다. 자연어 처리는 대화를 주고받는 과정에서 이해와 생성을 모두 포함해야 하기 때문입니다.

NLP는 어떻게 작동하나요?

NLU는 인간의 언어를 분석하여 그 의미와 의도를 해석합니다. 단계별 작동 방식은 다음과 같습니다:

1. 텍스트는 불필요한 요소(구두점 및 마침표 등)를 제거하기 위해 사전 처리됩니다.
2. 시스템은 텍스트에서 엔티티, 키워드, 구문과 같은 주요 구성 요소를 식별합니다.
3. 문장 구조를 분석하여 단어와 개념 간의 관계를 이해합니다.
4. NLU 모델은 인식된 요소를 특정 의도 또는 목표에 매핑합니다.
5. NLU 엔진은 컨텍스트와 사용자 상호 작용 기록을 기반으로 이해를 개선합니다.

이 시스템은 적절한 조치 또는 응답을 트리거할 수 있는 구조화된 출력을 제공합니다.

사전 교육

첫째, AI 모델은 책, 웹사이트, 기타 파일 등 방대한 양의 텍스트 데이터에 노출됩니다. 

사전 훈련 과정에서 모델은 문장의 다음 단어를 예측하는 방법을 학습하여 언어의 패턴을 이해하는 데 도움을 줍니다. 기본적으로 언어에 대한 통계적 이해를 구축하여 일관성 있는 텍스트를 생성할 수 있습니다.

미세 조정

사전 학습 후에는 보다 구체적인 데이터 세트에 대해 모델을 미세 조정합니다. ChatGPT 의 경우 여기에는 대화를 위해 선별된 데이터 세트가 포함됩니다. 

이 단계의 핵심은 인간 트레이너가 모델의 응답에 순위를 매기는 인간 피드백을 통한 강화 학습(RLHF)입니다. 이 피드백 루프는 ChatGPT 적절하고 유용하며 상황에 맞는 정확한 응답을 생성하는 능력을 향상시키는 데 도움이 됩니다.

토큰

모델이 처리하는 텍스트 단위(단어 또는 단어의 일부)입니다. ChatGPT의 입력과 출력은 효율적인 계산을 위해 토큰화됩니다.

제로 샷 학습

모델이 일반 지식에 의존하여 특별히 학습되지 않은 작업을 수행할 수 있는 능력입니다. 

원샷 학습은 모델에 하나의 예제를 제공하는 것이고, 엔샷 학습은 모델이 학습할 수 있도록 많은 예제를 제공하는 것입니다. 

주의 메커니즘

응답을 생성할 때 입력 텍스트의 다른 부분에 집중할 수 있도록 하는 트랜스포머 모델의 구성 요소입니다.

환각

AI 모델은 부정확하거나 무의미한 정보를 생성할 때 '착각'을 일으킵니다. 검색 증강 생성(RAG)과 같은 전략으로 환각을 완화할 수 있습니다.

사고의 연쇄 추론

모델이 단계별로 사고하도록 도와주어 복잡한 프롬프트나 작업을 처리하는 능력을 향상시키는 방법입니다. 

최신 OpenAI o1 모델처럼 일부 ChatGPT 모델에는 이 전략이 자동으로 탑재되어 있습니다. 하지만 어떤 버전이든 연쇄 추론을 수행하도록 요청할 수 있습니다. 단계별로 추론을 설명해 달라고 요청하기만 하면 됩니다.

사전 교육

특정 작업에 맞게 미세 조정하기 전에 모델을 대규모 데이터 세트에 학습시켜 언어 패턴을 학습하는 초기 단계입니다.

미세 조정 

특정 사용 사례에서 성능을 향상시키기 위해 더 좁은 데이터 세트 또는 작업에서 모델을 개선하는 프로세스입니다.

컨텍스트 창

응답을 생성할 때 모델이 고려할 수 있는 입력 텍스트의 양에 대한 제한입니다. 

컨텍스트 창이 낮으면 긴 보고서를 보내서 요약을 요청할 수 없으며, 모델은 문서의 시작 부분을 '잊어버릴' 것입니다. 

사용자 지정 GPTs

OpenAI 는 사용자가 원하는 대로 GPTs 을 커스터마이징할 수 있습니다. 특정 보드 게임의 규칙을 배우거나 록 메탈 밴드 포스터를 디자인하거나 AI 개념을 가르치는 데 도움이 되도록 사용자 지정 GPT 을 지시할 수 있습니다.

맞춤형 AI 에이전트

AI 기술의 발전으로 나만의 LLM 기반 AI 에이전트를 쉽게(그리고 무료로) 만들 수 있습니다. 

드래그 앤 드롭 방식의 로우 코드 빌더부터 고급 코딩 에코시스템까지, 모든 사용 사례와 기술 수준에 맞는 훌륭한 AI 빌드 플랫폼이 있습니다. 

자체 LLM 기반 에이전트를 구축한다는 것은 미팅을 예약하고 주간 메트릭 보고서를 생성하는 맞춤형 AI 어시스턴트를 설계할 수 있다는 뜻입니다. 또는 다음 주소에 배포하는 고객 지원 AI 에이전트를 구축할 수 있습니다. WhatsApp. 가능성은 무궁무진합니다.