텍스트 음성 변환(TTS)이란 무엇인가요?

1. 텍스트 처리

텍스트 처리는 TTS 시스템이 어떤 단어를 발화할지 결정하는 단계입니다. 약어, 날짜 및 통화 기호가 철자로 표시되고 구두점이 제거됩니다.

항상 사소한 문제는 아닙니다. "닥터"는 의사를 의미할까요, 아니면 운전을 의미할까요? CAD는 어떨까요? 캐나다 달러 또는 컴퓨터 지원 설계? 

자연어 처리(NLP)는 텍스트 처리에 사용되어 주변 문맥에 따라 올바른 해석을 예측하는 데 도움을 줄 수 있습니다. 예를 들어 "박사"와 같은 모호한 용어가 문장 전체에 어떻게 들어맞는지 평가하므로 "페론 박사는 반대했다"라는 문구에서 NLP는 박사를 의사로 해석할 수 있습니다.

2. 언어 분석

텍스트가 처리되면 모델은 "무엇을 말해야 할까요?"에서 "어떻게 말해야 할까요?"로 전환합니다.

언어 분석은 문장의 높낮이, 어조 및 지속 시간 측면에서 문장이 어떻게 전달되어야 하는지를 해석하는 TTS의 일부입니다. 다시 말해

• 각 소리, 음절 또는 단어는 얼마나 길어야 하나요?
• 억양이 올라가야 하나요? 떨어질까요?
• 어떤 단어가 강조되고 있나요?
• 볼륨의 변화가 의도한 감정을 어떻게 반영할 수 있을까요?

3. 음향 모델링

음향 모델링은 정규화된 텍스트(및 예측된 언어적 특징이 있는 경우)가 중간 표현을 출력하는 신경망을 통과하는 곳입니다.

스펙트로그램 및 음성 표현

중간 표현은 일반적으로 스펙트로그램 (오디오 신호의 시간 경과에 따른 주파수 표현)이지만, 이는 변화하고 있습니다.

다음은 입력 텍스트 "우와, 예상하셨나요?"에서 TTS 모델이 생성한 표현입니다:

‍

이 2차원 이미지는 실제로 146개의 수직 슬라이스로 구성되어 있으며, 각 슬라이스는 80개의 주파수를 포함합니다. 강한 주파수는 더 밝고 약한 주파수는 더 어둡습니다. 

오른쪽으로 90도 회전한 10번째 시간 단계(또는 열)의 모습은 다음과 같습니다:

개별 주파수와 그 에너지를 확인할 수 있습니다. 

언뜻 보기에는 스펙트로그램이 별것 아닌 것처럼 보이지만 여기에는 몇 가지 분명한 언어 현상이 존재합니다:

• 이 선은 모음 또는 /w/, /r/, /l/과 같은 모음 또는 모음과 유사한 소리로 명확하게 정의됩니다.
• 어두운 점은 침묵을 나타냅니다. 문장 부호를 위한 일시 정지일 수도 있습니다.
• 높은 곳에 있는 에너지 덩어리는 /에스/, /쉬/, /에프/에서 들리는 소음과 같은 노이즈를 나타냅니다.

실제로 스펙트로그램을 자세히 보면 단어들을 정렬할 수도 있습니다.

다양한 형태의 스펙트로그램은 원시 음성과 텍스트 사이의 매우 좋은 중간 형태이기 때문에 음성 기술에서 널리 사용되는 표현입니다. 

서로 다른 화자가 말한 같은 문장을 녹음한 두 개의 녹음은 파형은 매우 다르지만 스펙트로그램은 매우 유사합니다.

4. 오디오 합성(보코딩)

합성 단계는 스펙트로그램을 오디오로 변환하는 단계입니다. 

이 변환을 수행하는 기술을 보코더라고 합니다. 보코더는 스펙트로그램 표현을 기반으로 음성 신호를 재구성하도록 훈련된 신경망 모델입니다.

표현과 음성 신호 모델링을 별도의 모듈로 분리하는 이유는 제어에 관한 것입니다. 첫 번째는 단어의 발음과 전달을 정확하게 모델링하는 것이고, 두 번째는 전달의 스타일과 사실성에 관한 것입니다.

스펙트로그램을 사용하면 /에스/ 대 /쉬/ 또는 /이/ ( 히트에서처럼) 대 /아이/ ( 히트에서처럼)를 구분할 수 있지만 스타일과 개성은 보코더가 생성하는 미세한 디테일에서 비롯됩니다.

다음은 다양한 음향 모델과 보코더 간의 조합을 비교한 것입니다. 연구자들이 음향 모델과 보코더를 믹스 앤 매치하여 최상의 결과를 얻기 위해 최적화하는 방법을 보여줍니다.

하지만 다른 모든 구성 요소와 마찬가지로 스펙트로그램은 올인원 모델을 선호하는 추세에 따라 단계적으로 폐지되고 있습니다.

챗봇 및 음성 어시스턴트

제가 말할 줄 알았잖아요 😉

사용자의 명령을 이해하고, 식료품 목록을 업데이트하고, 약속을 설정하는 등 AI 에이전트에서 합성 음성의 정교함과 중요성을 당연하게 여기기 쉽습니다.

좋은 에이전트(즉, 사용 가능한 에이전트)는 명령을 요청할 수 있을 만큼 친근하고, 사용자가 명령을 이행할 수 있다고 믿을 수 있을 만큼 인간적인 목소리를 가져야 합니다.

AI 비서가 '적합한' 소리를 내는지 여부를 결정하는 데 걸리는 찰나의 순간에 사용자의 마음을 사로잡기 위해 많은 연구와 엔지니어링이 이루어집니다.

비즈니스 측면에서는 챗봇이 브랜드를 대표합니다. TTS 기술의 향상은 더 나은 음성 브랜딩과 더 효과적인 고객 서비스를 위한 옵션을 의미합니다.

내비게이션 및 운송

운전 중 GPS가 도로명을 알아듣지 못할 정도로 잘못 발음하는 것만큼 좋은 TTS의 중요성을 깨닫게 해주는 것은 없습니다. 

GPS 내비게이션은 TTS가 빛을 발하는 좋은 예입니다. 우리의 시선이 집중되어 있는 상황에서 청각적 정보 전달은 편의성뿐만 아니라 안전과도 직결됩니다.

이는 공항과 대중교통 시스템에서도 마찬가지입니다. 기차역이나 공항 터미널과 같이 복잡하게 설계된 대규모 시스템의 경우 합성 음성이 매우 중요합니다. 

TTS가 없다면 우리는 종종 급하고 이해하기 어려운 실시간 안내 방송이나 이름, 단말기, 시간 등을 이어 붙인 녹음에 의존해야 하는데, 솔직히 듣기 어렵습니다. 

자연스러움과 명료성 사이에 강력한 연관성이 있다는 연구 결과가 있는 만큼, 고품질 TTS는 강력한 운송 산업을 위한 필수 요소입니다.

엔터테인먼트 및 미디어

내레이션 및 다국어 미디어는 합성 음성 기술의 개선으로 더 많이 사용할 수 있게 되었습니다.

음성 기술은 연기를 대체하는 것이 아니라 드라마틱한 연기를 보강하는 데 도움이 됩니다.

인후암으로 목소리를 잃은 발 킬머는 탑건에서 자신의 원래 목소리로 진심 어린 연기를 펼쳤습니다: 매버릭(2022)에서도 AI 덕분에 목소리를 연기할 수 있었습니다.

또한 TTS를 사용하면 게임 개발자는 비플레이어 캐릭터(NPC)에게 다양하고 표현력 있는 발화를 제공할 수 있으며, 이는 다른 방법으로는 불가능한 작업입니다.

헬스케어

TTS의 개선은 전반적인 접근성 향상을 의미합니다.

노인 케어 기술은 동반자와 지원이라는 두 가지 문제를 동시에 해결합니다. 이 기술은 TTS가 제공하는 사용자 지정 기능에 의존합니다. 자상한 어조, 다양한 속도, 세심한 억양은 모두 효과적이고 품위 있는 지원을 제공하는 데 있어 중요한 역할을 합니다.

TTS는 젊은 층의 접근성을 개선하는 데도 사용되고 있습니다.

아카펠라 그룹은 무엇보다도 언어 생산 장애가 있는 어린이를 위한 기술을 개발합니다. 합성 연설은 아이들의 표현 능력과 독립성을 강화하는 동시에 발성 특성을 보존합니다.

교육 및 포용적 학습

우리는 언어 학습 앱에서 합성 음성을 접해왔습니다. 하지만 이는 빙산의 일각에 불과합니다.

예를 들어, 독립 학습의 진입 장벽은 읽기 능력입니다. 어린이, 시각 장애가 있는 사람, 특정 학습 장애가 있는 사람에게는 이것이 반드시 가능하지 않습니다. 이는 과밀학급에서 과로한 교사에게 많은 부담을 줍니다.

캘리포니아의 한 교육구에서는 특별한 도움이 필요한 학생들을 위한 보다 포용적인 학습 환경을 조성하기 위해 TTS를 도입했습니다.

노인 돌봄의 경우와 마찬가지로, 교육 기술도 선명하고 명확하게 전달하는 자비로운 목소리에 의존합니다. 수정 가능한 매개변수를 통해 교사는 이러한 기술을 수업에 통합하여 학생들이 더욱 소속감을 느낄 수 있도록 도울 수 있습니다.

TTS 시스템이 지원하기 어려운 언어나 방언이 있나요?

예, TTS 시스템이 지원하기 어려운 언어와 방언, 특히 녹음된 음성 및 텍스트 데이터 세트가 부족한 저자원 언어가 있습니다. 지역 방언, 성조 언어, 토착 언어와 같은 변종은 표준 모델에 학습되지 않은 미묘한 발음 규칙과 운율이 필요하기 때문에 종종 어려움을 겪습니다. 널리 사용되는 언어의 경우에도 방언의 차이로 인해 발음이 잘못되거나 부자연스러운 음성이 나올 수 있습니다.

음조, 속도 및 감정 측면에서 TTS 음성을 얼마나 사용자 지정할 수 있나요?

오늘날의 TTS 음성은 운율과 스타일을 세밀하게 제어할 수 있는 최신 신경망 아키텍처 덕분에 음조, 속도, 감정을 고도로 맞춤화할 수 있습니다. 많은 상용 TTS 시스템을 통해 사용자는 차분한 내레이션, 흥분된 안내 멘트, 공감 대화 등 다양한 상황에 맞게 말하기 속도, 억양 패턴, 볼륨, 표현 톤을 조정할 수 있습니다. 그러나 속도와 음조에 대한 기본 슬라이더만 제공하는 경우도 있고, 감정 표현과 목소리 톤에 대한 세부적인 매개변수를 제공하는 경우도 있는 등 제어의 정도는 공급업체에 따라 다릅니다.

TTS 시스템에서 처리되는 음성 데이터는 얼마나 안전한가요?

TTS 시스템에서 처리하는 음성 데이터의 보안은 제공업체와 배포 방식에 따라 크게 달라집니다. 클라우드 기반 TTS 서비스는 일반적으로 전송 중이거나 미사용 중인 데이터를 암호화하지만, 민감한 정보를 외부 서버로 전송하는 경우 GDPR 또는 HIPAA와 같은 적절한 계약 및 규정 준수 조치가 마련되어 있지 않으면 여전히 개인정보 보호 위험이 발생할 수 있습니다. 온프레미스 또는 엣지 배포는 오디오와 텍스트가 조직의 인프라를 벗어나지 않으므로 제3자에 대한 노출이 줄어들기 때문에 보안이 더욱 강화됩니다.

기업용 고품질 TTS 솔루션을 구현하는 데 드는 비용은 얼마나 드나요?

기업용 고품질 TTS 솔루션을 구현하는 데 드는 비용은 사용량이 많지 않은 클라우드 기반 API의 경우 월 수백 dollars 맞춤형 음성 개발 또는 온프레미스 엔터프라이즈 배포의 경우 수만 또는 수십만 달러까지 다양합니다. 비용에는 일반적으로 라이선스 비용, 문자당 또는 분당 사용 비용, 통합 및 개발 노력, 사용자 지정 음성을 만드는 경우 음성 재능료가 포함됩니다. 소규모 기업은 구독 기반 서비스로 시작하는 경우가 많지만, 대기업은 브랜드 일관성 및 개인정보 보호를 위해 맞춤형 솔루션에 투자할 수 있습니다.

고품질 TTS 음성을 구축하려면 얼마나 많은 학습 데이터가 필요하나요?

고품질 TTS 음성을 구축하려면 일반적으로 동일한 화자로부터 일관된 녹음 조건에서 몇 시간에서 수십 시간 동안 깨끗하고 전문적으로 녹음된 음성이 필요합니다. 타코트론이나 패스트스피치 같은 최신 신경망 TTS 시스템은 2~5시간 정도의 데이터로도 괜찮은 품질을 얻을 수 있지만, 매우 자연스럽고 표현력이 풍부하며 강력한 음성을 얻으려면 10~20시간 이상이 걸리는 경우가 많습니다. 음성 복제나 매우 표현력이 풍부한 음성의 경우 훨씬 더 큰 데이터 세트와 다양한 스타일, 감정, 맥락을 아우르는 다양한 녹음이 필요합니다.