Chatbot Yazarlarının Doğal Dil İşleme Algoritması Hakkında Bilmesi Gerekenler

Bir bot oluştururken atılan ortak adımlardan biri "niyetleri" tanımlamaktır.

Bir amaç "şifremi sıfırla", "uçuş rezervasyonu yap" veya "destekle iletişime geç" olabilir. Bot geliştiricisinin yazılıma, hepsi de amaç ile aynı anlama gelen birden fazla ifade girmesi gerekir. Örneğin, "Paris'e uçmak istiyorum", "uçak bileti al" amacı için böyle bir ifade olacaktır.

Genel olarak, bot geliştirme platformları kullanıcılardan belirli bir amaç için birçok ifade girmelerini ister. Bu ifadeler Doğal Dil İşleme (NLP) algoritması için eğitim verileridir.

NLP algoritması, aynı anlama gelen ancak farklı kelimelere sahip ifadeleri (eğitim verilerine karşı) tanıyabilmek için veriler üzerinde kendini eğiten bir makine öğrenimi algoritmasıdır.

NLP algoritması, yeni ifadeleri tanıyabilmek için dahili modelini kalibre etmek üzere bot geliştiricisi tarafından sağlanan niyet verilerini ve dille ilgili (daha önce eğitildiği) büyük bir veri külliyatını kullanır.

Sohbet robotu geliştiricisi tarafından NLP algoritmasına ne kadar çok örnek verilirse, farklı ifadelere sahip diğer ifadelerdeki aynı anlamı o kadar doğru bir şekilde tanıyabilecektir. En azından bot geliştiricilerine verilen mesaj bu.

Sorun şu ki, tüm eğitim verileri eşit yaratılmamıştır. Verilerin miktarı kadar kalitesi de önemlidir.

‍

Örneğin, "şifremi sıfırla" adında bir amaç oluşturmak istediğimi düşünün.

Bir bot yazar aşağıdaki ifadeleri oluşturmaya başlayabilir:

Şifremi sıfırla

Şifremi unuttum

Şifrem çalışmıyor

Yeni şifre lütfen

Şifre sorunu

Vb.

Yukarıdakilerle ilgili sorun, tüm ifadelerin aynı "parola" kelimesini kullanmasıdır. Bu da algoritmanın kendisini bu veriler üzerinde eğittiğinde, "şifre" kelimesi ifadede yer alıyorsa, amacın "şifremi sıfırla" olduğu kuralını ayırt ettiği anlamına gelir. Bu elbette yanlıştır. İnsanlar, içinde "parola" kelimesi geçmeyen ve "parolamı sıfırla" ile aynı anlama gelen pek çok başka ifade kullanabilir. Ayrıca, içinde "şifre" kelimesi geçen ve "şifremi sıfırla" anlamına gelmeyen pek çok ifade de vardır.

Algoritmalar dünyasında bu soruna eğitim verilerine aşırı uyum sağlama denir. Algoritma "parola" kelimesine aşırı uyum sağlamıştır ve bu nedenle içinde "parola" kelimesi geçen her ifadenin "parolamı sıfırla" anlamına geldiğine "inanmaktadır".

‍

Aynı amaç için bunun başka örnekleri de vardır. Örneğin bot geliştiricisi aşağıdaki ifadeleri girebilir:

Kimlik bilgilerim çalışmıyor

Giriş bilgilerim çalışmıyor

Şifrem çalışmıyor

Kullanıcı adım çalışmıyor.

Vb.

Bu, elbette, sorunun daha uç bir örneğidir, ancak eğitim verileri oluşturulurken bu model yaygındır. Bu yine algoritmanın verilere aşırı uyum sağlamasına neden olacaktır, ancak bu sefer "çalışmıyor" ifadesine.

‍

Çözüm umarım artık çok açıktır. Eğitim verilerindeki her bir ifadenin veri setindeki diğer ifadelerden mümkün olduğunca farklı olması gerekir. Örneğin:

Kimlik bilgilerim çalışmıyor.

Şifre sıfırlamaya ihtiyacım var.

Giriş sorunumu nasıl çözebilirim?

Sisteme giriş konusunda bana kim yardımcı olabilir?

Vb.

Elbette yukarıdaki gibi bir veri seti oluşturmak daha fazla çaba gerektirir. İfadeler için fikirleri canlandırmak amacıyla eşanlamlıları bulmak için bir eşanlamlılar sözlüğünün açık olması bile yardımcı olabilir.

Bot geliştiricilerinin bu sorunun üstesinden gelmesinin bir diğer yolu da, gerçek bir müşterinin aynı soruyu sorma biçimlerine ilişkin çok sayıda örnek sağlayan müşteri hizmetleri sohbet verilerine erişmektir. Bu veriler son derece değerli olabilir.

NLP algoritmalarının sadece küçük bir eğitim veri seti üzerinde ne zaman iyi performans gösterebileceği konusunda bir soru var. Botun yalnızca küçük bir veri kümesi kullanarak mükemmel bir şekilde çalışması kesinlikle daha iyi olacaktır. Bu kesinlikle araştırmacılar tarafından üzerinde çalışılan bir konudur, çünkü sadece sohbet botları oluşturmak için gereken zamanı ve çabayı azaltmakla kalmayacak, aynı zamanda kalitelerini de büyük ölçüde artıracaktır.

NLP algoritması çoğu bot geliştiricisi için bir kara kutudur. Ancak en iyi sonuçları elde etmek için algoritmaya ne tür eğitim verileri (amaç verileri) sağlamaları gerektiğini bilmeleri için algoritmanın nasıl çalıştığının temellerini anlamaları önemlidir.

‍