什么是文本转语音（TTS）？

荷兰版ChatGPT 有时带有德语口音。如果是故意的，那就有点刻薄；如果不是，那就很有趣。

无论如何，可以肯定地说，AI语音助手已经远远超越了微软的Sam。事实上，自从我几年前学习语音技术以来，这项技术已经取得了巨大进步。

我今天要和你聊聊我们现在所处的位置。

自1968年以来，我们就一直在神话化合成语音，比如《2001太空漫游》中HAL机器人的出现。

如今，语音功能已成为标准配置：89%的消费者会根据设备是否支持语音决定购买。

换句话说，“别只帮我，和我说话”。

本文将介绍文本转语音——即将文本转换为语音音频的技术。我会讲解其底层原理，以及这项技术在各行业的应用方式。

什么是文本转语音？

TTS是将文本转换为合成语音音频的过程。早期版本通过机械方式模拟人类声道并拼接音频片段。如今，TTS系统采用深度神经网络算法，实现动态、类人的语音输出。

根据不同的应用场景，存在多种模型，比如用于对话的实时生成、可控表达以及声音克隆等能力。

文本转语音是如何工作的？

TTS主要有三个关键步骤：首先，输入文本会被处理，拼写出符号、表达式和缩写。处理后的文本通过神经网络转换为声学表示（声谱图）。最后，将这种表示转化为语音。

正如我之前提到的，研究人员尝试过多种TTS方法。我们目前采用（并且我认为会持续使用一段时间）的是基于神经网络的语音合成。

要建模影响语音表达的语言现象层次——如发音、语速、语调——是一项复杂的任务。

即使有神经网络这种近乎神奇的黑箱能力，TTS系统仍需依赖多个组件来逼近真实语音。

很难确定唯一的流程；新技术层出不穷，随时可能让前代方法过时。

大多数TTS系统都包含一些通用组件，只是形式不同。

1. 文本处理

文本处理阶段，TTS系统确定要朗读哪些词。缩写、日期和货币符号会被完整拼写出来，标点符号则会被去除。

这并非总是简单的。例如，“Dr.”是指医生还是大道？CAD呢？加拿大元还是计算机辅助设计？

文本处理中可以应用自然语言处理（NLP），根据上下文预测正确的含义。它会评估含糊词语（如“Dr.”）在句子中的作用，比如在“Dr. Perron advised against it”中，NLP会将dr.解析为医生。

2. 语言分析

文本处理完成后，模型会从“我该说什么？”转向“我该怎么说？”

语言分析是TTS中负责确定句子在音高、语调和时长等方面如何表达的部分。换句话说：

• 每个音、音节或单词应该持续多久？
• 语调应该上扬还是下落？
• 哪个词需要被强调？
• 音量的变化如何反映情感？

为什么韵律很重要

说个故事：我曾短暂为一个TTS模型开发团队做顾问。很快就发现韵律对句子可懂度至关重要。我来举个例子。

下面是“Whoa, were you expecting that?”这句话的三种朗读方式：

第一种非常好。“Whoa”后有停顿，“expecting”第二个音节（ex-PEC-ting）上扬，满分。

第二种仅仅在最后一个词（“…expecting THAT”）上扬，勉强表现出疑问语气。除此之外，其余音节长度几乎一样，音量和音高也没变化。我会建议客户“重新设计”。

最后一种很有意思：“whoah”部分表现很好——响亮、拉长且音调下滑。疑问语气的上扬发生在“were you”这几个词上，整体音高几乎保持不变。

许多中等水平的TTS系统就停在这里：表达还算合理，但并不是你在大多数场合下的真实说法。

在早期系统中，这些特征由不同组件预测：一个模型计算每个音持续多久，另一个则规划音高的变化。

现在，这些界限变得模糊了。

神经网络通常会通过大量训练数据，自主学习这些细微的表达模式。

3. 声学建模

声学建模阶段，将标准化文本（以及预测的语言特征，如有）输入神经网络，输出中间表示。

声谱图与语音表示

中间表示通常是声谱图——音频信号的时频表示——不过这一点也在变化。

以下是TTS模型根据输入文本“Whoa, were you expecting that?”生成的表示：

‍

这张二维图像实际上包含146个垂直切片，每个切片有80个频率。亮的部分表示频率强，暗的部分表示频率弱。

这是第10个时间步（或列）旋转90度后的样子：

你可以看到各个频率及其能量。

乍一看声谱图似乎没什么特别，但其实可以看到一些明显的语言现象：

• 那些波浪状的清晰线条代表元音或类似元音的音，如/w/、/r/和/l/。
• 黑色区域表示静音，可能是标点符号对应的停顿。
• 高频能量团表示噪音，比如/s/、/sh/和/f/中的噪音。

事实上，如果仔细观察，还能在声谱图上对齐单词。

声谱图在语音技术中被广泛用作中间表示，因为它们很好地连接了原始语音和文本。

同一句话由不同说话人录制，波形可能差别很大，但声谱图却很相似。

4. 音频合成（声码器）

合成阶段是将声谱图转换为音频的过程。

实现这种转换的技术被称为声码器。它们是通过神经网络模型训练而成，能够根据语音的频谱图重建语音信号。

将表示和语音信号建模分为不同模块的原因在于控制：前者侧重于准确建模单词的发音和表达，后者则关注表达的风格和真实感。

通过频谱图，我们可以区分 /s/ 和 /sh/，或 /ee/（如heat中的发音）与 /ih/（如hit中的发音），但风格和个性则来自声码器生成的细节。

这里有一个不同声学模型与声码器组合的对比。它展示了研究人员如何混合搭配声学模型和声码器，并优化以获得最佳整体效果。

但同样地，和其他组件一样，我们看到频谱图正在被一体化模型逐步取代。

TTS 的应用场景有哪些？

生成动态语音能力是各行各业的重要工具。

这不仅仅是关于高级机器人助手——它帮助我们实现效率、可访问性和安全性。

聊天机器人和语音助手

你肯定猜到我要说这个 😉

在理解你的指令、更新购物清单和安排日程时，我们很容易忽视AI 代理中合成语音的复杂性和重要性。

一个优秀的代理（即可用的代理）必须拥有合适的声音：既要足够亲切以引导用户发出指令，又要足够拟人化，让用户相信它能完成任务。

大量研究和工程投入只为在用户决定AI 助手是否“合适”的那一瞬间赢得他们的认可。

从商业角度来看：你的聊天机器人代表着你的品牌。TTS 技术的进步意味着更好的语音品牌塑造和更高效的客户服务选择。

导航与交通

当你开车时，GPS 把街道名念得让人听不懂，你就会意识到优质 TTS 的重要性。

GPS 导航是 TTS 发挥作用的绝佳例子：我们的眼睛被占用，语音信息的传递不仅仅是为了方便，更关乎安全。

在机场和公共交通系统中也是如此。对于像火车站、机场航站楼这样设计复杂、客流量大的系统，合成语音至关重要。

没有 TTS，我们只能依赖现场播报，这些播报往往匆忙且难以听清，或者是将地名、航站楼、时间等拼接起来的录音，听起来实在让人难以忍受。

研究表明自然度与可懂度密切相关，高质量的 TTS 是交通行业稳健发展的必备条件。

娱乐与媒体

随着合成语音技术的进步，旁白和多语种媒体变得更加普及。

语音技术并不是取代表演者，而是帮助提升戏剧表现力。

Val Kilmer 因喉癌失声，但在《壮志凌云：独行侠》（2022）中借助 AI用原声完成了感人至深的表演。

TTS 还让游戏开发者能够为非玩家角色（NPC）赋予多样且富有表现力的语音，这在过去几乎无法实现。

医疗健康

TTS 的进步意味着整体可访问性的提升。

老年护理技术同时解决陪伴和辅助的问题。这项技术依赖于 TTS 的可定制性：富有同情心的语调、可变语速和细致的语音处理，都是提供有效且有尊严辅助的重要部分。

TTS 也正在帮助年轻人提升可访问性。

Acapela Group等公司开发了面向有言语障碍儿童的技术。合成语音增强了他们的表达能力和独立性，同时保留了他们的声音特征。

教育与包容性学习

我们在语言学习应用中见过合成语音。但这只是冰山一角。

例如，自主学习的门槛之一是阅读能力。对于儿童、视障人士和某些学习障碍者来说，这并不总是可能的。这也给本就超负荷的教师带来了更多压力。

加州某学区已实施 TTS，为有特殊需求的学生创造更具包容性的学习环境。

与老年护理类似，教育技术依赖于富有同情心、清晰且有重点的语音。可调节参数让教师能够将这些技术融入课程，帮助学生更好地融入课堂。

为你的需求选择最佳 TTS

无论你身处哪个行业，可以肯定的是语音 AI 都与之相关。而你所采用的 TTS，字面意义上代表着你的企业形象，因此它必须可靠且可定制。

Botpress 让你可以通过丰富的集成和全渠道部署，打造强大且高度可定制的机器人。你的语音助手不仅令人印象深刻，更能真正发挥作用。

立即开始构建。永久免费。

常见问题

TTS 系统在支持哪些语言或方言时存在困难？

是的，TTS 系统在支持某些语言和方言时会遇到困难，尤其是缺乏大量语音和文本数据的低资源语言。区域方言、声调语言和本土语言等变体通常具有复杂的发音规则和语调，而标准模型未经过相关训练。即使是主流语言，方言差异也可能导致发音错误或语音不自然。

TTS 语音在音调、语速和情感方面的可定制性有多高？

得益于现代神经网络架构，TTS 语音在音高、语速和情感方面高度可定制，能够精细控制语调和风格。许多商用 TTS 系统允许用户调整语速、语调、音量和表达语气，以适应不同场景，如平静的旁白、激动的公告或富有同理心的对话。不过，不同厂商的控制程度不同——有的只提供基础的速度和音高滑块，有的则开放了更详细的情感表达和音色参数。

TTS 系统处理的语音数据有多安全？

TTS 系统处理语音数据的安全性很大程度上取决于服务商和部署方式。基于云的 TTS 服务通常会对数据传输和存储进行加密，但如果没有适当的协议和合规措施（如 GDPR 或 HIPAA），将敏感信息发送到外部服务器仍存在隐私风险。本地或边缘部署则更安全，因为音频和文本不会离开组织内部，从而降低了第三方风险。

企业实施高质量 TTS 解决方案的成本高吗？

企业实施高质量 TTS 解决方案的成本差异较大：中等用量的云 API 每月仅需几百美元，而定制语音开发或本地企业部署则可能高达数万甚至数十万美元。费用通常包括授权费、按字符或按分钟计费、集成和开发成本，以及如需定制语音时的配音费用。小型企业通常选择基于订阅的服务，而大型企业则可能为品牌一致性和隐私投入定制化方案。

打造高质量 TTS 语音需要多少训练数据？

打造高质量 TTS 语音通常需要数小时到数十小时的干净、专业录制语音，最好由同一位说话人、在一致的录音环境下完成。现代神经 TTS 系统如 Tacotron 或 FastSpeech，使用 2–5 小时的数据即可达到不错的效果，但要实现高度自然、富有表现力且健壮的语音，通常需要 10–20 小时甚至更多。对于语音克隆或极具表现力的语音，还需要更大规模、涵盖多种风格、情感和场景的多样化录音数据。