Metinden Sese (TTS) Nedir?

Hollandaca ChatGPT bazen Almanca aksanla konuşuyor. Eğer kasıtlıysa, bu kaba. Değilse, oldukça ilginç.

Her halükârda, Yapay zekâ sesli asistanlarının Microsoft’un Sam’inden bu yana çok yol katettiğini söylemek yanlış olmaz. Hatta, birkaç yıl önce konuşma teknolojisi okuduğum zamandan bu yana bile çok ilerlediler.

Ve size geldiğimiz noktayı anlatmak için buradayım.

1968’den beri, yani HAL adlı robotun 2001: Bir Uzay Destanı’nda ortaya çıkışından beri sentetik konuşmayı efsaneleştiriyoruz.

Prestijli ve geleceğin teknolojisi olmaktan çıkıp standart hale geldi: Tüketicilerin %89’u cihaz seçimlerini sesli destek olup olmamasına göre belirliyor.

Başka bir deyişle, “Sadece yardımcı olma; benimle konuş”.

Bu yazıda metinden sese teknolojisini, yani metnin konuşmaya dönüştürülmesini ele alacağım. Teknolojinin arka planında neler olduğunu ve farklı sektörlerde nasıl kullanıldığını anlatacağım.

Metinden Sese Nedir?

TTS, metni sentetik konuşmaya dönüştürme sürecidir. İlk sürümler, insan ses yolunu mekanik olarak taklit etmeye ve ses kayıtlarını birleştirmeye dayanıyordu. Günümüzde ise TTS sistemleri, derin sinir ağı algoritmalarıyla dinamik ve insan benzeri konuşmalar üretiyor.

Kullanım amacına göre farklı modeller bulunur; örneğin, sohbet için gerçek zamanlı üretim, kontrol edilebilir ifade ve bir sesi taklit edebilme gibi.

Metinden Sese Nasıl Çalışır?

TTS’in 3 temel adımı vardır: Önce, girilen metin semboller, ifadeler ve kısaltmalar açığa çıkarılarak işlenir. İşlenen metin, sinir ağlarıyla akustik bir temsile (spektrogram) dönüştürülür. Son olarak, bu temsil konuşmaya çevrilir.

Daha önce de belirttiğim gibi, araştırmacılar TTS için birçok farklı yaklaşım denedi. Şu an ulaştığımız (ve bir süre daha kalacağımızı düşündüğüm) yöntem, sinir ağı tabanlı konuşma sentezidir.

Bir konuşmayı etkileyen dilbilimsel katmanları—telaffuz, hız, tonlama—modellemek oldukça karmaşık bir iştir.

Sinir ağlarının neredeyse sihirli kara kutu yeteneklerine rağmen, bir TTS sistemi konuşmayı taklit etmek için birçok bileşene ihtiyaç duyar.

Tek bir kesin süreç belirlemek zor; yeni teknolojiler sürekli ortaya çıkıyor ve öncekileri hızla geçersiz kılıyor.

Çoğu TTS sisteminde bir şekilde bulunan bazı genel bileşenler vardır.

1. Metin İşleme

Metin işleme, TTS sisteminin hangi kelimelerin söyleneceğine karar verdiği aşamadır. Kısaltmalar, tarihler ve para birimi sembolleri yazıyla ifade edilir, noktalama işaretleri kaldırılır.

Bu her zaman kolay değildir. “Dr.” doktor mu demek, yoksa drive mı? Ya CAD? Kanada doları mı, yoksa bilgisayar destekli tasarım mı?

Metin işlemeye yardımcı olmak için doğal dil işleme (NLP) kullanılabilir; böylece doğru anlam, çevredeki bağlama göre tahmin edilir. Belirsiz terimin (“Dr.” gibi) cümledeki yerine bakılır; örneğin “Dr. Perron karşı çıktı” ifadesinde, NLP dr.’yi doktor olarak çözer.

2. Dilbilimsel Analiz

Metin işlendiğinde, model “Ne söylemeliyim?”den “Nasıl söylemeliyim?”e geçer.

Dilbilimsel analiz, bir cümlenin perde, ton ve süre açısından nasıl söyleneceğini belirleyen TTS bölümüdür. Yani:

• Her bir ses, hece veya kelime ne kadar uzun olmalı?
• Tonlama yükselmeli mi? Alçalmalı mı?
• Hangi kelime vurgulanıyor?
• Ses yüksekliğindeki değişim duyguyu nasıl yansıtabilir?

Neden Vurgu (Prosodi) Önemlidir?

Kısa bir süre TTS modelleri geliştiren bir ekibe danışmanlık yaptım. Vurgunun (prosodi) bir cümlenin anlaşılabilirliğini ne kadar etkilediği çok net ortaya çıktı. Ne demek istediğimi göstereyim.

Aşağıda “Whoa, were you expecting that?” cümlesinin 3 farklı şekilde söylenişi var.

İlki harika. “Whoa”dan sonraki duraklama, “expecting” kelimesinin ikinci hecesindeki (ex-PEC-ting) yükselen ton. 10 üzerinden 10.

İkincisi, yalnızca son kelimedeki (“... expecting THAT”) yükselen tonlamayla soru niteliğini zar zor yakalıyor. Onun dışında, diğer heceler neredeyse aynı uzunlukta, ses ve ton değişikliği yok. Müşterilerime “yeniden çalışın” derdim.

Sonuncusu ilginç bir örnek: “whoah” kısmı harika—yüksek, uzun ve alçalan bir tonla. Soruya özgü yükselen tonlama ise “were you” boyunca gerçekleşiyor ve neredeyse sabit bir perdeyle devam ediyor.

Pek çok ortalama TTS sistemi burada durur: yeterince basit ve makul bir okunuş. Ama bu, çoğu bağlamda bizim söyleyeceğimiz gibi değil.

Eski sistemlerde bu özellikler ayrı bileşenler tarafından tahmin edilirdi: bir model her sesin ne kadar süreceğini, diğeri ise tonun nasıl değişeceğini hesaplardı.

Günümüzde işler daha belirsiz.

Sinir ağları, büyük eğitim veri setlerindeki ince ayrıntıları içselleştirerek bu kalıpları kendiliğinden öğrenir.

3. Akustik Modelleme

Akustik modellemede, normalleştirilmiş metin (ve varsa tahmin edilen dilbilimsel özellikler) bir sinir ağına aktarılır ve ara bir temsil üretilir.

Spektrogramlar ve Konuşma Temsilleri

Ara temsil genellikle bir spektrogram—bir ses sinyalinin zamana göre frekans gösterimi—olur, ancak bu değişiyor.

İşte TTS modelinin “Whoa, were you expecting that?” giriş metninden ürettiği temsil:

‍

Bu iki boyutlu görüntü aslında 146 dikey dilimden oluşur ve her biri 80 frekans içerir. Güçlü frekanslar parlak, zayıf olanlar ise koyudur.

İşte 10. zaman adımının (veya sütununun) 90 derece sağa döndürülmüş hali:

Bireysel frekansları ve enerjilerini görebilirsiniz.

İlk bakışta spektrogram çok şey ifade etmiyor gibi görünebilir, ancak burada bazı belirgin dilbilimsel özellikler mevcut:

• Bu dalgalar ve net çizgiler, ünlüler veya /w/, /r/ ve /l/ gibi ünlü-benzeri seslerdir.
• Koyu noktalar sessizliği gösterir. Bunlar noktalama için verilen duraklamalar olabilir.
• Yukarıdaki enerji kümeleri ise /s/, /sh/ ve /f/ seslerinde duyduğunuz gürültüyü temsil eder.

Hatta dikkatlice bakarsanız, kelimeleri spektrogramda hizalayabilirsiniz.

Spektrogramlar, konuşma teknolojisinde yaygın olarak kullanılır çünkü ham konuşma ve metin arasında çok iyi bir ara temsildirler.

Aynı cümlenin iki farklı konuşmacı tarafından kaydedilmiş dalga formları çok farklı olabilir, ancak spektrogramları oldukça benzerdir.

4. Ses Sentezi (Vokoding)

Sentez aşaması, spektrogramın sese dönüştürüldüğü yerdir.

Bu dönüşümü gerçekleştiren teknolojiye vocoder denir. Bunlar, konuşma sinyallerini spektrogram temsillerine göre yeniden oluşturmak için eğitilmiş sinir ağı modelleridir.

Temsil ve konuşma sinyali modellemesinin ayrı modüllere bölünmesinin nedeni, kontrolle ilgilidir: ilki kelimelerin telaffuzu ve aktarımının doğru şekilde modellenmesiyle, ikincisi ise aktarımın tarzı ve gerçekçiliğiyle ilgilidir.

Bir spektrogram ile /s/ ile /ş/ veya /ii/ (örneğin heat kelimesindeki gibi) ile /i/ (örneğin hit kelimesindeki gibi) arasındaki farkı ayırt edebiliriz, ancak tarz ve kişilik, vocoder tarafından üretilen ince ayrıntılardan gelir.

İşte farklı akustik modeller ve vocoder kombinasyonlarının bir karşılaştırması. Bu, araştırmacıların akustik modeller ve vocoderleri nasıl birleştirip en iyi genel sonucu elde etmek için optimize ettiklerini gösteriyor.

Ancak yine, diğer tüm bileşenlerde olduğu gibi, spektrogramların yerini giderek çok amaçlı modellere bıraktığını görüyoruz.

TTS’in Kullanım Alanları Nelerdir?

Dinamik konuşma dili üretme yeteneği, sektörler arasında vazgeçilmez bir araçtır.

Bu sadece gelişmiş robot yardımcılarla ilgili değil – verimlilik, erişilebilirlik ve güvenlik sağlamamıza yardımcı olur.

Chatbotlar ve Sesli Asistanlar

Bunu söyleyeceğimi biliyordunuz 😉

Komutlarınızı anlamak, alışveriş listenizi güncellemek ve randevu ayarlamak arasında, Yapay Zeka ajanlarındaki sentezlenmiş konuşmanın ne kadar gelişmiş ve önemli olduğunu kolayca gözden kaçırabiliriz.

İyi bir ajan (yani kullanılabilir bir ajan), uygun bir sese sahip olmalıdır: komut almaya davet eden ve kullanıcının görevleri yerine getirebileceğine inanmasını sağlayacak kadar insansı.

Bir Yapay Zeka asistanının “doğru” ses olup olmadığına karar vermek için geçen o bir anlık sürede kullanıcıyı etkilemek için çok fazla araştırma ve mühendislik harcanıyor.

İşin ticari tarafında ise: chatbotunuz markanızı temsil eder. TTS teknolojisindeki gelişmeler, daha iyi ses markalaşması ve daha etkili müşteri hizmetleri için seçenekler sunar.

Yönlendirme ve Ulaşım

Araba kullanırken GPS’in bir sokak adını anlaşılmaz şekilde telaffuz etmesi, iyi bir TTS’in önemini anlamanızı sağlar.

GPS navigasyonu, TTS’in öne çıktığı harika bir örnektir: gözlerimiz meşgulken, sesli bilgi sunmak sadece kolaylık değil, aynı zamanda güvenlik meselesidir.

Bu durum havaalanları ve toplu taşıma sistemlerinde de geçerlidir. Tren istasyonları ve havaalanı terminalleri gibi karmaşık ve yoğun sistemlerde, sentezlenmiş konuşma çok önemlidir.

TTS olmadan, genellikle aceleyle ve anlaşılmaz şekilde yapılan canlı anonslara veya isimlerin, terminallerin, saatlerin vb. birleştirilmiş kayıtlarına güveniyoruz ki bunlar dinlemesi oldukça zordur.

Doğallık ile anlaşılırlık arasında güçlü bir bağlantı olduğunu gösteren çalışmalar sayesinde, yüksek kaliteli TTS sağlam bir ulaşım sektörü için gereklidir.

Eğlence ve Medya

Anlatım ve çok dilli medya, sentetik konuşma teknolojisindeki gelişmelerle daha erişilebilir hale geldi.

Yeteneklerin yerini almak yerine, konuşma teknolojisi dramatik performansları destekler.

Val Kilmer, gırtlak kanseri nedeniyle sesini kaybettikten sonra, Top Gun: Maverick (2022) filminde Yapay Zeka sayesinde orijinal sesiyle duygusal bir performans sergiledi.

TTS ayrıca oyun geliştiricilerin oynanamayan karakterlere (NPC) çeşitli ve etkileyici ifadeler kazandırmasını sağlıyor; bu, başka türlü mümkün olmayan bir şeydi.

Sağlık

TTS’teki gelişmeler, her alanda erişilebilirliğin artması anlamına geliyor.

Yaşlı bakım teknolojileri, arkadaşlık ve yardım konularını aynı anda ele alıyor. Bu teknoloji, TTS’in sunduğu özelleştirilebilirliğe dayanır: şefkatli tonlar, değişken hızlar ve dikkatli tonlama, etkili ve saygın bir yardım sunmanın bir parçasıdır.

TTS, gençler arasında erişilebilirliği artırmak için de kullanılıyor.

Acapela Group, diğer şeylerin yanı sıra, konuşma üretim bozukluğu olan çocuklar için teknolojiler geliştiriyor. Sentetik konuşma, onların ifade yeteneklerini ve bağımsızlıklarını artırırken, ses özelliklerini de koruyor.

Eğitim ve Kapsayıcı Öğrenme

Sentetik konuşmayı dil öğrenme uygulamalarında gördük. Ancak bu sadece buzdağının görünen kısmı.

Örneğin, bağımsız öğrenmede en büyük engellerden biri okuma becerisidir. Çocuklar, görme engelliler ve bazı öğrenme güçlüğü olanlar için bu her zaman mümkün değildir. Bu da, kalabalık sınıflarda zaten çok çalışan öğretmenlere büyük bir yük getirir.

Kaliforniya’daki bir okul bölgesi, özel gereksinimli öğrenciler için daha kapsayıcı bir öğrenme ortamı oluşturmak amacıyla TTS’i uygulamaya koydu.

Yaşlı bakımında olduğu gibi, eğitim teknolojisi de netlik ve vurgu ile iletilen şefkatli seslere dayanır. Ayarlanabilir parametreler sayesinde öğretmenler bu teknolojileri derslerine entegre edebilir ve öğrencilerin daha fazla dahil olmasını sağlayabilir.

İhtiyacınıza En Uygun TTS’i Edinin

Hangi sektörde olursanız olun, sesli yapay zekanın önemli olduğu kesin. Ve uyguladığınız TTS, işinizin sesi olacağı için güvenilir ve özelleştirilebilir olmalıdır.

Botpress, güçlü ve yüksek derecede özelleştirilebilir botlar oluşturmanıza, çok sayıda entegrasyon ve tüm yaygın iletişim kanallarında dağıtım yapmanıza olanak tanır. Sesli asistanınız sadece etkilemekle kalmaz, aynı zamanda çalışır.

Hemen oluşturmaya başlayın. Ücretsiz.

Sıkça Sorulan Sorular

TTS sistemlerinin desteklemekte zorlandığı diller veya lehçeler var mı?

Evet, özellikle yeterli konuşma ve metin verisi bulunmayan düşük kaynaklı dillerde TTS sistemlerinin desteklemekte zorlandığı diller ve lehçeler vardır. Bölgesel lehçeler, tonlu diller ve yerli diller gibi varyasyonlar genellikle zorluk çıkarır; çünkü bunlar, standart modellerin eğitilmediği ayrıntılı telaffuz kuralları ve vurgu gerektirir. Hatta yaygın konuşulan dillerde bile lehçe farklılıkları, yanlış telaffuzlara veya yapay seslere yol açabilir.

TTS sesleri perde, hız ve duygu açısından ne kadar özelleştirilebilir?

Günümüzde TTS sesleri, modern sinir ağı mimarileri sayesinde perde, hız ve duygu açısından oldukça özelleştirilebilmektedir. Bu mimariler, vurgu ve tarz üzerinde ayrıntılı kontrol sağlar. Birçok ticari TTS sistemi, kullanıcıların konuşma hızı, tonlama, ses seviyesi ve ifade tarzını farklı bağlamlara uygun şekilde (örneğin sakin anlatım, heyecanlı duyuru veya empatik diyalog) ayarlamasına olanak tanır. Ancak kontrol derecesi sağlayıcıya göre değişir—bazıları sadece hız ve perde için temel kaydırıcılar sunarken, diğerleri duygusal ifade ve ses rengi için ayrıntılı parametreler sunar.

TTS sistemleri tarafından işlenen ses verileri ne kadar güvenli?

TTS sistemlerinde işlenen ses verilerinin güvenliği, büyük ölçüde sağlayıcıya ve dağıtım yöntemine bağlıdır. Bulut tabanlı TTS hizmetleri genellikle verileri aktarım sırasında ve depolamada şifreler, ancak hassas bilgilerin harici sunuculara gönderilmesi, uygun anlaşmalar ve GDPR veya HIPAA gibi uyumluluk önlemleri yoksa gizlilik riski oluşturabilir. Kurum içi veya uçta yapılan dağıtımlar ise daha yüksek güvenlik sağlar; çünkü ses ve metin verileri kurumun altyapısından çıkmaz ve üçüncü taraflara maruz kalmaz.

İşletmeler için yüksek kaliteli TTS çözümlerini uygulamanın maliyeti nedir?

İşletmeler için yüksek kaliteli TTS çözümlerinin uygulanmasının maliyeti, orta düzeyde kullanım için bulut tabanlı API’lerde aylık birkaç yüz dolardan başlayıp, özel ses geliştirme veya kurum içi kurumsal dağıtımlar için on binlerce hatta yüz binlerce dolara kadar çıkabilir. Maliyetler genellikle lisans ücretleri, karakter veya dakika başına kullanım ücretleri, entegrasyon ve geliştirme çalışmaları ile özel ses oluşturulacaksa seslendirme ücretlerini içerir. Küçük işletmeler genellikle abonelik tabanlı hizmetlerle başlarken, büyük işletmeler marka tutarlılığı ve gizlilik için özel çözümlere yatırım yapabilir.

Yüksek kaliteli bir TTS sesi oluşturmak için ne kadar eğitim verisi gerekir?

Yüksek kaliteli bir TTS sesi oluşturmak için genellikle aynı konuşmacıdan ve tutarlı kayıt koşullarında alınmış birkaç saatten onlarca saate kadar temiz, profesyonelce kaydedilmiş konuşma verisi gerekir. Tacotron veya FastSpeech gibi modern sinir ağı tabanlı TTS sistemleri, 2–5 saatlik veriyle makul kaliteye ulaşabilir, ancak son derece doğal, etkileyici ve sağlam sesler için genellikle 10–20 saat veya daha fazlası gerekir. Ses klonlama veya çok etkileyici sesler için ise çeşitli tarz, duygu ve bağlamları kapsayan daha büyük ve çeşitli veri setleri gereklidir.