텍스트 음성 변환(TTS)이란?

네덜란드어 ChatGPT는 가끔 독일어 억양으로 말합니다. 의도된 것이라면 불친절한 것이고, 아니라면 흥미로운 현상입니다.

어쨌든 AI 음성 비서가 마이크로소프트의 Sam 시절과는 비교할 수 없을 만큼 발전했다는 건 분명합니다. 사실, 몇 년 전 제가 음성 기술을 공부했을 때와 비교해도 정말 많이 발전했습니다.

그리고 지금 우리가 어디에 와 있는지 말씀드리려 합니다.

1968년 HAL 로봇이 등장한 '2001: 스페이스 오디세이' 이후로, 우리는 합성 음성에 대한 상상을 이어왔습니다.

이제는 특별하거나 미래적인 것이 아니라, 표준이 되었습니다. 소비자의 89%가 음성 지원 여부에 따라 기기를 선택한다고 합니다.

즉, “그냥 도와주지 말고, 말로 소통해줘”라는 의미입니다.

이 글에서는 텍스트 음성 변환, 즉 텍스트를 음성으로 바꾸는 기술에 대해 다룹니다. 기술의 내부 구조와 다양한 산업에서의 활용 방식을 설명하겠습니다.

텍스트 음성 변환이란?

TTS는 텍스트를 합성된 음성 오디오로 변환하는 과정입니다. 초기에는 인간의 발성 기관을 기계적으로 모방하거나 오디오 녹음을 이어붙이는 방식이었지만, 현재는 딥 뉴럴 네트워크 알고리즘을 사용해 더욱 자연스럽고 인간과 유사한 음성을 생성합니다.

용도에 따라 다양한 모델이 존재하며, 예를 들어 대화형 모델의 실시간 생성, 표현 제어, 특정 음성 복제 등이 있습니다.

텍스트 음성 변환은 어떻게 작동하나요?

TTS는 3단계로 이루어집니다. 먼저 입력된 텍스트에서 기호, 표현, 약어를 해석합니다. 처리된 텍스트는 신경망을 거쳐 음향적 표현(스펙트로그램)으로 변환됩니다. 마지막으로 이 표현이 음성으로 변환됩니다.

앞서 언급했듯이, 연구자들은 다양한 TTS 접근 방식을 시도해왔습니다. 현재 주류가 된 방식(그리고 앞으로도 한동안 유지될 것으로 보이는 방식)은 신경망 기반 음성 합성입니다.

발음, 속도, 억양 등 발화에 영향을 주는 언어적 현상을 모델링하는 일은 매우 복잡합니다.

신경망의 마법 같은 블랙박스 기능이 있더라도, TTS 시스템은 음성을 근사하기 위해 여러 구성 요소에 의존합니다.

정확히 하나의 파이프라인만 있는 것은 아닙니다. 새로운 기술이 계속 등장하면서 기존 방식을 빠르게 대체하고 있습니다.

대부분의 TTS 시스템에는 형태는 다르지만 공통적으로 존재하는 몇 가지 주요 구성 요소가 있습니다.

1. 텍스트 처리

텍스트 처리 단계에서는 TTS 시스템이 어떤 단어를 발화할지 결정합니다. 약어, 날짜, 통화 기호를 풀어쓰고, 문장 부호는 제거합니다.

이 과정이 항상 간단한 것은 아닙니다. “Dr.”가 의사를 의미하는지, 도로를 의미하는지 어떻게 알까요? CAD는 캐나다 달러일까요, 컴퓨터 지원 설계일까요?

텍스트 처리에는 자연어 처리(NLP)를 활용해 주변 문맥을 바탕으로 올바른 해석을 예측할 수 있습니다. 예를 들어 “Dr. Perron advised against it”라는 문장에서 NLP는 dr.을 의사로 해석합니다.

2. 언어적 분석

텍스트 처리가 끝나면, 모델은 “무엇을 말할까?”에서 “어떻게 말할까?”로 초점을 옮깁니다.

언어적 분석은 문장을 높낮이, 억양, 길이 등으로 어떻게 전달할지 해석하는 단계입니다. 즉,

• 각 소리, 음절, 단어는 얼마나 길어야 할까요?
• 억양은 올라가야 할까요? 내려가야 할까요?
• 어떤 단어에 강세를 둘까요?
• 볼륨의 변화로 의도한 감정을 어떻게 표현할 수 있을까요?

왜 운율(프로소디)이 중요한가

일화 하나: TTS 모델을 개발하는 팀에서 잠시 컨설팅을 한 적이 있습니다. 운율이 문장의 이해도를 얼마나 좌우하는지가 명확하게 드러났죠. 예시를 보여드리겠습니다.

다음은 “Whoa, were you expecting that?”라는 문장을 세 가지 방식으로 발화한 예시입니다.

첫 번째는 훌륭합니다. “Whoa” 뒤의 멈춤, “expecting”의 두 번째 음절(ex-PEC-ting)에서의 상승 억양. 만점입니다.

두 번째는 마지막 단어(“... expecting THAT”)에서만 겨우 질문임을 드러냅니다. 나머지 음절들은 길이, 볼륨, 높낮이 변화가 거의 없습니다. 이런 경우엔 “다시 시작하세요”라고 조언하곤 했습니다.

마지막은 흥미로운 경우입니다. “whoah”는 크고 길며 하강하는 억양이 잘 표현되어 있습니다. 질문의 상승 억양은 “were you” 전체에 걸쳐 나타나고, 전체적으로 일정한 높이로 유지됩니다.

많은 중간 수준의 TTS 시스템이 여기서 멈춥니다: 그럴듯한 전달이지만, 실제로 우리가 말하는 방식과는 다릅니다. 대부분의 상황에서는 말이죠.

이전 시스템에서는 이런 특성을 각각 별도의 구성 요소가 예측했습니다. 한 모델은 소리의 길이를, 다른 모델은 높낮이 변화를 계산했습니다.

요즘은 경계가 더 모호해졌습니다.

신경망은 방대한 학습 데이터셋의 미묘한 패턴을 스스로 내재화해 이런 특징을 학습합니다.

3. 음향 모델링

음향 모델링 단계에서는 정규화된 텍스트(및 예측된 언어적 특성)가 신경망을 거쳐 중간 표현으로 변환됩니다.

스펙트로그램과 음성 표현

중간 표현은 보통 스펙트로그램입니다. 이는 오디오 신호의 시간-주파수 표현 방식인데, 최근에는 다른 방식도 등장하고 있습니다.

다음은 입력 텍스트 “Whoa, were you expecting that?”에서 TTS 모델이 생성한 표현입니다.

‍

이 2차원 이미지는 실제로 146개의 세로 슬라이스로 이루어져 있으며, 각 슬라이스는 80개의 주파수를 포함합니다. 밝을수록 강한 주파수, 어두울수록 약한 주파수를 의미합니다.

오른쪽으로 90도 회전한 10번째 타임스텝(또는 열)은 다음과 같습니다:

개별 주파수와 그 에너지를 확인할 수 있습니다.

처음 보면 스펙트로그램이 별로 특별해 보이지 않지만, 여기에도 명확한 언어적 현상이 나타납니다.

• 이런 파형의 뚜렷한 선들은 모음이나 /w/, /r/, /l/과 같은 모음에 가까운 소리를 나타냅니다.
• 어두운 부분은 침묵을 의미합니다. 이는 문장 부호에 의한 멈춤일 수 있습니다.
• 상단에 에너지가 뭉쳐 있는 부분은 /s/, /sh/, /f/에서 들을 수 있는 잡음을 나타냅니다.

사실, 자세히 보면 스펙트로그램에서 단어의 위치를 맞춰볼 수도 있습니다.

스펙트로그램은 다양한 형태로 음성 기술에서 널리 사용되는 표현 방식입니다. 원시 음성과 텍스트 사이를 연결하는 매우 효과적인 중간 단계이기 때문입니다.

같은 문장을 다른 화자가 녹음해도 파형은 매우 다르지만, 스펙트로그램은 매우 유사합니다.

4. 오디오 합성(보코딩)

합성 단계에서는 스펙트로그램이 오디오로 변환됩니다.

이 변환을 수행하는 기술을 보코더라고 합니다. 이는 신경망 모델로, 스펙트로그램 표현을 바탕으로 음성 신호를 재구성하도록 훈련됩니다.

이렇게 표현과 음성 신호 모델링을 별도의 모듈로 분리하는 이유는 제어에 있습니다. 첫 번째는 단어의 정확한 발음과 전달을 모델링하는 것이고, 다음은 전달 방식의 스타일과 자연스러움을 담당합니다.

스펙트로그램을 통해 우리는 /s/와 /sh/, 또는 /ee/ (heat의 경우)와 /ih/ (hit의 경우)를 구분할 수 있지만, 스타일과 개성은 보코더가 만들어내는 미세한 디테일에서 나옵니다.

여기 다양한 음향 모델과 보코더 조합의 비교 자료가 있습니다. 연구자들이 어떻게 음향 모델과 보코더를 조합하고, 최적의 결과를 위해 조정하는지 보여줍니다.

하지만 다른 구성 요소들과 마찬가지로, 스펙트로그램 역시 점차 올인원 모델로 대체되고 있습니다.

TTS의 활용 사례는 무엇인가요?

동적으로 음성 언어를 생성하는 기능은 다양한 산업에서 필수적인 도구입니다.

이것은 단순히 정교한 로봇 비서에만 국한되지 않습니다. 효율성, 접근성, 안전성을 높이는 데에도 큰 역할을 합니다.

챗봇 및 음성 비서

제가 이 얘기를 할 줄 이미 예상하셨죠 😉

명령을 이해하고, 장보기 목록을 업데이트하며, 약속을 잡는 등, AI 에이전트에서 합성 음성이 얼마나 정교하고 중요한지 우리는 종종 잊곤 합니다.

좋은 에이전트(즉, 사용하기 좋은 에이전트)는 명령을 유도할 만큼 친근하고, 사용자가 실제로 명령을 수행할 수 있다고 믿게 할 만큼 인간적인 목소리를 가져야 합니다.

AI 비서가 '제대로' 들리는지 사용자가 판단하는 그 짧은 순간을 잡기 위해 많은 연구와 엔지니어링이 투입됩니다.

비즈니스 측면에서도 챗봇은 브랜드를 대표합니다. TTS 기술의 발전은 더 나은 음성 브랜딩과 효과적인 고객 서비스의 선택지를 제공합니다.

내비게이션 및 교통

운전 중 GPS가 거리 이름을 알아듣지 못하게 발음할 때, 좋은 TTS의 중요성을 실감하게 됩니다.

GPS 내비게이션은 TTS가 빛을 발하는 대표적인 예입니다. 우리의 시선이 바쁠 때, 음성 정보 제공은 단순한 편의성을 넘어 안전과도 직결됩니다.

이것은 공항이나 대중교통 시스템에서도 마찬가지입니다. 기차역이나 공항 터미널처럼 복잡하고 이용객이 많은 곳에서는 합성 음성이 필수적입니다.

TTS가 없다면, 우리는 종종 급하게 전달되어 알아듣기 힘든 실시간 안내 방송이나, 이름·터미널·시간 등이 이어 붙여진 녹음에 의존해야 합니다. 이는 듣기에 불편할 수밖에 없습니다.

자연스러움과 명료성의 상관관계를 보여주는 연구 결과도 있는 만큼, 고품질 TTS는 견고한 교통 산업에 필수적입니다.

엔터테인먼트 및 미디어

내레이션과 다국어 미디어는 합성 음성 기술의 발전으로 더 널리 제공되고 있습니다.

이 기술은 인재를 대체하는 것이 아니라, 극적인 연기를 보완하는 데 도움을 줍니다.

발성을 잃은 발 킬머는 Top Gun: Maverick(2022)에서 AI의 도움으로 본인의 목소리로 감동적인 연기를 선보였습니다.

TTS 덕분에 게임 개발자들은 NPC(비플레이어 캐릭터)에게 다양한 감정과 표현을 부여할 수 있게 되었습니다. 이는 기존에는 불가능했던 일입니다.

의료

TTS의 발전은 전반적인 접근성 향상으로 이어집니다.

노인 돌봄 기술은 동반자 역할과 지원을 동시에 해결합니다. 이 기술은 TTS의 맞춤화 기능에 의존합니다. 따뜻한 어조, 다양한 속도, 세심한 억양 등은 효과적이고 존엄한 지원을 제공하는 데 필수적입니다.

TTS는 젊은 층의 접근성 향상에도 활용되고 있습니다.

Acapela Group은 언어 생산에 어려움이 있는 아동을 위한 기술 등을 개발합니다. 합성 음성은 이들의 표현력과 자립성을 높여주면서, 고유의 음성 특성도 보존해줍니다.

교육 및 포용적 학습

우리는 언어 학습 앱에서 합성 음성을 접해왔습니다. 하지만 이것은 시작에 불과합니다.

예를 들어, 독립적인 학습의 진입 장벽 중 하나는 읽기 능력입니다. 어린이, 시각 장애인, 특정 학습 장애가 있는 사람들에게는 읽기가 쉽지 않습니다. 이는 과밀 학급에서 과로하는 교사들에게도 부담이 됩니다.

캘리포니아의 한 학군에서는 TTS를 도입해 특수 교육 학생들을 위한 더 포용적인 학습 환경을 조성했습니다.

노인 돌봄과 마찬가지로, 교육 기술 역시 또렷하고 강조가 잘 전달되는 따뜻한 목소리에 의존합니다. 조정 가능한 매개변수 덕분에 교사들은 이 기술을 수업에 통합해 학생들의 소속감을 높일 수 있습니다.

내게 맞는 최고의 TTS를 선택하세요

어떤 산업이든 음성 AI는 중요한 역할을 합니다. 그리고 도입하는 TTS는 말 그대로 여러분의 비즈니스를 대변하므로, 신뢰성과 맞춤성이 필수입니다.

Botpress는 다양한 통합과 모든 주요 커뮤니케이션 채널 배포를 지원하는 강력하고 맞춤화 가능한 봇 구축을 제공합니다. 여러분의 음성 에이전트는 단순히 인상적일 뿐 아니라, 실제로 잘 작동합니다.

지금 바로 시작해보세요. 무료입니다.

자주 묻는 질문

TTS 시스템이 지원하기 어려운 언어나 방언이 있나요?

네, TTS 시스템이 지원하기 어려운 언어나 방언이 있습니다. 특히 음성 및 텍스트 데이터셋이 부족한 저자원 언어의 경우가 그렇습니다. 지역 방언, 성조 언어, 토착어 등은 미묘한 발음 규칙과 운율이 필요해 표준 모델로는 한계가 있습니다. 널리 쓰이는 언어라도 방언 차이로 인해 발음 오류나 부자연스러운 음성이 발생할 수 있습니다.

TTS 음성은 높이, 속도, 감정 등에서 얼마나 맞춤 설정이 가능한가요?

최신 신경망 기반 TTS 음성은 음높이, 속도, 감정 표현을 매우 세밀하게 조정할 수 있습니다. 많은 상용 TTS 시스템은 말하기 속도, 억양 패턴, 볼륨, 감정 톤 등을 상황에 맞게 조절할 수 있게 해줍니다. 예를 들어 차분한 내레이션, 활기찬 안내, 공감 어린 대화 등 다양한 맥락에 맞출 수 있습니다. 단, 제공업체마다 제어 수준은 다르며, 일부는 속도와 음높이만 조절할 수 있고, 일부는 감정 표현과 음색까지 세부적으로 조정할 수 있습니다.

TTS 시스템에서 처리되는 음성 데이터는 얼마나 안전한가요?

TTS 시스템에서 처리되는 음성 데이터의 보안은 제공업체와 배포 방식에 크게 좌우됩니다. 클라우드 기반 TTS 서비스는 일반적으로 데이터 전송 및 저장 시 암호화를 적용하지만, 민감한 정보를 외부 서버로 전송할 경우 GDPR, HIPAA 등 적절한 규정 준수와 계약이 없다면 개인정보 위험이 있을 수 있습니다. 온프레미스 또는 엣지 배포는 오디오와 텍스트가 조직 내부에서만 처리되므로, 제3자 노출 위험이 줄어 더 높은 보안을 제공합니다.

기업에서 고품질 TTS 솔루션을 도입하는 데 드는 비용은 어느 정도인가요?

기업에서 고품질 TTS 솔루션을 도입하는 비용은 월 수백 달러의 클라우드 API 이용부터, 맞춤형 음성 개발이나 온프레미스 엔터프라이즈 구축에는 수만~수십만 달러까지 다양합니다. 일반적으로 라이선스 비용, 문자/분당 사용료, 통합 및 개발 비용, 맞춤 음성 제작 시 음성 재능료 등이 포함됩니다. 소규모 기업은 구독형 서비스를 주로 이용하고, 대기업은 브랜드 일관성과 개인정보 보호를 위해 맞춤형 솔루션에 투자하기도 합니다.

고품질 TTS 음성을 구축하려면 얼마나 많은 학습 데이터가 필요한가요?

고품질 TTS 음성을 구축하려면 일반적으로 동일한 화자가 일관된 환경에서 녹음한 깨끗한 음성 데이터가 수 시간에서 수십 시간 필요합니다. Tacotron, FastSpeech와 같은 최신 신경망 TTS 시스템은 2~5시간의 데이터로도 괜찮은 품질을 낼 수 있지만, 매우 자연스럽고 표현력 있는 음성을 위해서는 10~20시간 이상의 데이터가 필요합니다. 음성 복제나 감정 표현이 풍부한 음성의 경우, 다양한 스타일·감정·상황을 아우르는 더 많은 데이터가 요구됩니다.