¿Qué es la conversión de texto a voz (TTS)?

El ChatGPT neerlandés habla a veces con acento alemán. Si es intencional, es cruel. Si no lo es, resulta fascinante.

En cualquier caso, está claro que los asistentes de voz con IA han avanzado mucho desde Sam de Microsoft. De hecho, han evolucionado bastante desde que estudié tecnología del habla hace unos años.

Y quiero contarte en qué punto estamos ahora.

Llevamos mitificando el habla sintética al menos desde 1968, desde la aparición de HAL el robot en 2001: Odisea del espacio.

Lejos de ser algo prestigioso y futurista, hoy es algo habitual: el 89% de los consumidores condicionan su elección de dispositivo a si tiene o no soporte de voz.

En otras palabras: “No solo ayúdame; háblame”.

En este artículo hablaré sobre la conversión de texto a voz: cómo se transforma el texto en audio hablado. Explicaré cómo funciona por dentro y las distintas formas en que se utiliza esta tecnología en diferentes sectores.

¿Qué es la conversión de texto a voz?

TTS es el proceso de convertir texto en audio hablado sintético. Las primeras versiones se basaban en imitar mecánicamente el tracto vocal humano y unir grabaciones de audio. Hoy en día, los sistemas TTS emplean algoritmos de redes neuronales profundas para generar locuciones dinámicas y naturales.

Existen diferentes modelos según el caso de uso, como la generación en tiempo real para modelos conversacionales, la expresión controlable y la capacidad de replicar una voz.

¿Cómo funciona la conversión de texto a voz?

El TTS tiene 3 pasos clave: primero, el texto de entrada se procesa para desglosar símbolos, expresiones y abreviaturas. Luego, el texto procesado pasa por redes neuronales que lo convierten en una representación acústica (espectrograma). Finalmente, esa representación se transforma en voz.

Como mencioné antes, los investigadores han probado varios enfoques para el TTS. El que usamos actualmente (y que probablemente siga vigente por un tiempo) se basa en la síntesis de voz con redes neuronales.

Modelar las capas de fenómenos lingüísticos que influyen en una frase—pronunciación, velocidad, entonación—es una tarea compleja.

Incluso con las capacidades casi mágicas y opacas de las redes neuronales, un sistema TTS depende de varios componentes para aproximar el habla.

Es difícil definir una única estructura; constantemente surgen nuevas tecnologías que amenazan con dejar obsoletas a las anteriores.

Sin embargo, hay algunos componentes generales que suelen estar presentes en la mayoría de los sistemas TTS.

1. Procesamiento de texto

El procesamiento de texto es el paso en el que el sistema TTS determina qué palabras se van a pronunciar. Abreviaturas, fechas y símbolos de moneda se escriben completas y se eliminan los signos de puntuación.

Esto no siempre es sencillo. ¿“Dr.” significa doctor o drive? ¿Y CAD? ¿dólar canadiense o diseño asistido por computadora?

El procesamiento de lenguaje natural (NLP) puede utilizarse en esta etapa para ayudar a predecir la interpretación correcta según el contexto. Evalúa cómo encaja el término ambiguo (por ejemplo, “Dr.”) en la frase completa, así que en “Dr. Perron desaconsejó hacerlo”, el NLP interpretaría dr. como doctor.

2. Análisis lingüístico

Una vez procesado el texto, el modelo pasa de “¿Qué debo decir?” a “¿Cómo debo decirlo?”

El análisis lingüístico es la parte del TTS encargada de interpretar cómo debe pronunciarse una frase en cuanto a tono, entonación y duración. Es decir:

• ¿Cuánto debe durar cada sonido, sílaba o palabra?
• ¿Debe subir la entonación? ¿Bajar?
• ¿Qué palabra se enfatiza?
• ¿Cómo puede el cambio de volumen reflejar la emoción que se quiere transmitir?

Por qué importa la prosodia

Una anécdota: trabajé un tiempo asesorando a un equipo que desarrollaba modelos TTS. Me di cuenta de lo mucho que la prosodia afecta la claridad de una frase. Te lo muestro con un ejemplo.

A continuación, tienes 3 formas de decir la frase “Whoa, ¿esperabas eso?”

La primera es excelente. La pausa después de “Whoa”, la subida de tono en la segunda sílaba de “expecting” (ex-PEC-ting). Un 10 de 10.

La segunda apenas transmite que es una pregunta, subiendo el tono solo en la última palabra (“... expecting THAT”). Por lo demás, las sílabas tienen casi la misma duración y no hay variaciones de volumen ni tono. Yo le diría a mi cliente que “vuelva a empezar”.

La última es un caso curioso: el “whoa” está muy bien—fuerte, largo y con una caída de tono. La subida de entonación de la pregunta ocurre durante “were you”, y el tono se mantiene casi estable.

Aquí es donde muchos sistemas TTS intermedios se quedan: una pronunciación simple y aceptable. Pero no es como lo dirías tú—al menos en la mayoría de los contextos.

En los sistemas antiguos, estas características se predecían con componentes separados: un modelo calculaba la duración de cada sonido y otro definía cómo debía variar el tono.

Hoy en día, todo es más difuso.

Las redes neuronales suelen aprender estos patrones por sí solas, asimilando los matices de enormes conjuntos de datos.

3. Modelado acústico

El modelado acústico es donde el texto normalizado (y las características lingüísticas predichas, si las hay) pasan por una red neuronal que genera una representación intermedia.

Espectrogramas y representaciones del habla

La representación intermedia suele ser un espectrograma —una representación de las frecuencias a lo largo del tiempo de una señal de audio—, aunque esto está cambiando.

Aquí tienes la representación generada por un modelo TTS a partir de nuestro texto de entrada “Whoa, were you expecting that?”:

‍

Esta imagen bidimensional en realidad consiste en 146 columnas verticales, cada una con 80 frecuencias. Las frecuencias más intensas son más brillantes y las más débiles, más oscuras.

Así es como se ve el décimo paso de tiempo (o columna), girado 90 grados hacia la derecha:

Puedes ver las frecuencias individuales y sus intensidades.

A simple vista el espectrograma no parece gran cosa, pero aquí se aprecian fenómenos lingüísticos claros:

• Esas ondas con líneas claramente definidas son vocales o sonidos similares a vocales, como /w/, /r/ y /l/.
• Las zonas oscuras representan silencio. Estas pueden ser pausas debidas a la puntuación.
• Los grupos de energía en la parte alta indican ruido, como el que se escucha en /s/, /sh/ y /f/.

De hecho, si te fijas, puedes alinear las palabras con el espectrograma.

Los espectrogramas, en sus distintas variantes, son representaciones muy utilizadas en tecnología del habla porque son un buen punto intermedio entre el audio y el texto.

Dos grabaciones de la misma frase, pronunciadas por personas distintas, tendrán formas de onda muy diferentes, pero espectrogramas muy similares.

4. Síntesis de audio (Vocoding)

La etapa de síntesis es donde el espectrograma se convierte en audio.

La tecnología que realiza esta conversión se llama vocoder. Son modelos de redes neuronales entrenados para reconstruir señales de voz a partir de sus representaciones en espectrogramas.

La razón para separar la representación y el modelado de la señal de voz en módulos distintos es el control: el primero se encarga de modelar con precisión la pronunciación y la entrega de las palabras, y el siguiente se ocupa del estilo y realismo de la entrega.

Con un espectrograma podemos distinguir entre /s/ y /sh/, o /ee/ (como en heat) y /ih/ (como en hit), pero el estilo y la personalidad provienen de los detalles finos que produce el vocoder.

Aquí tienes una comparación de combinaciones entre diferentes modelos acústicos y vocoders. Ilustra cómo los investigadores combinan modelos acústicos y vocoders para optimizar el resultado final.

Pero, de nuevo, como ocurre con otros componentes, estamos viendo que los espectrogramas están siendo reemplazados por modelos integrales todo-en-uno.

¿Cuáles son los casos de uso del TTS?

La capacidad de generar lenguaje hablado de forma dinámica es una herramienta esencial en todos los sectores.

No se trata solo de asistentes robóticos sofisticados: nos ayuda a lograr eficiencia, accesibilidad y seguridad.

Chatbots y asistentes de voz

Sabías que lo iba a mencionar 😉

Entre entender tus órdenes, actualizar tu lista de compras y programar citas, es fácil subestimar la sofisticación—y la importancia—del habla sintetizada en los agentes de IA.

Un buen agente (es decir, uno usable) debe tener una voz adecuada: lo suficientemente acogedora para recibir órdenes y lo bastante humana para que el usuario crea que puede cumplirlas.

Se invierte mucha investigación e ingeniería en conquistar a los usuarios en la fracción de segundo que tarda en decidir si un asistente de IA suena "correcto".

En el ámbito empresarial, tu chatbot representa tu marca. Los avances en la tecnología TTS ofrecen mejores opciones de identidad vocal y un servicio al cliente más eficaz.

Navegación y transporte

Nada te hará valorar tanto un buen TTS como que tu GPS pronuncie de forma ininteligible el nombre de una calle mientras conduces.

La navegación GPS es un gran ejemplo de dónde destaca el TTS: nuestros ojos están ocupados y recibir información por voz no solo es conveniente, sino también una cuestión de seguridad.

Esto también es cierto en aeropuertos y sistemas de transporte público. En sistemas complejos y de alto tráfico como estaciones de tren y terminales aéreas, la voz sintetizada es fundamental.

Sin TTS, dependemos de anuncios en vivo, que suelen ser apresurados e ininteligibles, o de grabaciones ensambladas de nombres, terminales, horarios, etc., que suelen ser difíciles de escuchar.

Con estudios que demuestran una fuerte relación entre naturalidad e inteligibilidad, un TTS de alta calidad es imprescindible para un sector de transporte robusto.

Entretenimiento y medios

La narración y los contenidos multilingües se han vuelto más accesibles gracias a las mejoras en la tecnología de voz sintética.

En lugar de reemplazar el talento, la tecnología de voz ayuda a potenciar las interpretaciones dramáticas.

Val Kilmer, tras perder la voz por un cáncer de garganta, pudo ofrecer una emotiva actuación con su voz original en Top Gun: Maverick (2022) gracias a la IA.

El TTS también permite a los desarrolladores de videojuegos dotar a los personajes no jugables (NPCs) de expresiones diversas y expresivas, algo que de otro modo sería inviable.

Salud

Las mejoras en TTS suponen avances en accesibilidad para todos.

Las tecnologías para el cuidado de personas mayores abordan la compañía y la asistencia al mismo tiempo. Esta tecnología depende de la personalización que ofrece el TTS: tonos compasivos, velocidades variables y una entonación cuidada son clave para brindar ayuda efectiva y digna.

El TTS también se está utilizando para mejorar la accesibilidad entre los más jóvenes.

Acapela Group desarrolla, entre otras cosas, tecnologías para niños con trastornos en la producción del habla. La voz sintética amplía sus capacidades expresivas y su autonomía, manteniendo sus características vocales.

Educación y aprendizaje inclusivo

Hemos visto la voz sintética en aplicaciones de aprendizaje de idiomas. Pero eso es solo la punta del iceberg.

Por ejemplo, una barrera para el aprendizaje autónomo es saber leer. Para los niños, las personas con discapacidad visual y quienes tienen ciertas dificultades de aprendizaje, esto no siempre es posible. Esto supone una carga adicional para docentes ya sobrecargados en aulas saturadas.

Un distrito escolar en California ha implementado TTS para crear un entorno de aprendizaje más inclusivo para estudiantes con necesidades especiales.

Al igual que en el cuidado de mayores, la tecnología educativa depende de voces compasivas que transmitan con claridad y énfasis. Los parámetros modificables permiten a los docentes integrar estas tecnologías en sus clases, ayudando a que los estudiantes se sientan más incluidos.

Elige el mejor TTS para tus necesidades

Sea cual sea tu sector, está claro que la voz IA es relevante. Y el TTS que implementes literalmente hablará por tu negocio, así que debe ser fiable y personalizable.

Botpress te permite crear bots potentes y altamente personalizables con una variedad de integraciones y despliegue en todos los canales de comunicación habituales. Tu agente de voz no solo impresionará, sino que funcionará.

Empieza a construir hoy. Es gratis.

Preguntas frecuentes

¿Existen idiomas o dialectos que los sistemas TTS tienen dificultades para admitir?

Sí, hay idiomas y dialectos que los sistemas TTS tienen dificultades para soportar, especialmente aquellos con pocos recursos y que carecen de grandes conjuntos de datos de voz y texto grabados. Variantes como los dialectos regionales, lenguas tonales y lenguas indígenas suelen presentar desafíos porque requieren reglas de pronunciación y prosodia matizadas que los modelos estándar no han aprendido. Incluso en idiomas muy hablados, las diferencias dialectales pueden causar errores de pronunciación o una voz poco natural.

¿Qué tan personalizables son las voces TTS en cuanto a tono, velocidad y emoción?

Hoy en día, las voces TTS son altamente personalizables en tono, velocidad y emoción, gracias a arquitecturas modernas de redes neuronales que permiten un control detallado sobre la prosodia y el estilo. Muchos sistemas comerciales de TTS permiten ajustar la velocidad de habla, los patrones de entonación, el volumen y el tono expresivo para adaptarse a distintos contextos, como narraciones tranquilas, anuncios entusiastas o diálogos empáticos. Sin embargo, el nivel de control varía según el proveedor: algunos solo ofrecen controles básicos de velocidad y tono, mientras que otros permiten ajustar parámetros detallados de expresión emocional y timbre vocal.

¿Qué tan segura es la información de voz procesada por los sistemas TTS?

La seguridad de los datos de voz procesados por sistemas TTS depende en gran medida del proveedor y del método de implementación. Los servicios TTS en la nube suelen cifrar los datos en tránsito y en reposo, pero enviar información sensible a servidores externos puede suponer riesgos de privacidad si no existen acuerdos y medidas de cumplimiento como GDPR o HIPAA. Las implementaciones locales o en el edge ofrecen mayor seguridad, ya que el audio y el texto nunca salen de la infraestructura de la organización, lo que reduce la exposición a terceros.

¿Cuánto cuesta implementar soluciones TTS de alta calidad para empresas?

Implementar soluciones TTS de alta calidad para empresas puede costar desde unos cientos de dólares al mes para APIs en la nube con uso moderado, hasta decenas o cientos de miles para desarrollos de voz personalizados o implementaciones empresariales locales. Los costes suelen incluir licencias, pagos por carácter o minuto, esfuerzos de integración y desarrollo, y posiblemente honorarios de locutores si se crea una voz personalizada. Las pequeñas empresas suelen empezar con servicios por suscripción, mientras que las grandes pueden invertir en soluciones a medida para mantener la coherencia de marca y la privacidad.

¿Cuántos datos de entrenamiento se necesitan para crear una voz TTS de alta calidad?

Crear una voz TTS de alta calidad normalmente requiere varias horas hasta decenas de horas de grabaciones limpias y profesionales, preferiblemente de la misma persona y en condiciones de grabación consistentes. Los sistemas TTS neuronales modernos como Tacotron o FastSpeech pueden lograr buena calidad con tan solo 2–5 horas de datos, pero para voces muy naturales, expresivas y robustas suelen ser necesarias 10–20 horas o más. Para clonación de voz o voces muy expresivas, se necesitan conjuntos de datos aún mayores y grabaciones diversas que cubran distintos estilos, emociones y contextos.