Büyük Verinin Geleceği Küçük Veride

Bir görevi yerine getirmek için yazılım oluşturmak istediğinizi düşünün. Bunu yapmanın iki ana yolu ve bir ara yolu vardır.

Kod yöntemi

İlk yol, "kod yöntemi" olarak adlandıracağım görevi yerine getirmek için yazılımı programlamaktır. Bu durumda, meydana gelebilecek tüm etkileşimleri bilir ve bunları programınızda öngörürsünüz. Bunun en temel örneği, bilgisayara şu olursa şunu yap dediğiniz "Eğer öyleyse" dizisidir. Örneğin, bu düğmeye tıklanırsa bu ekranı göster.

Kod yöntemi veri kullanmaz ve eğitim içermez. Programlanan dizi, verilerden bağımsız olarak deterministik bir şekilde gerçekleşir. Açık olmak gerekirse, programlar gerçek kodla yazılan kod yöntemi kullanılarak veya görsel veya benzer araçlar kullanılarak oluşturulabilir.

Tren yöntemi

İkinci yol ise "eğitme yöntemi" olarak adlandıracağım, yazılımı büyük verileri kullanarak görevi yapması için eğitmektir. Bu durumda, yazılımın veriler üzerinde eğitilmesini sağlamak için sinir ağı gibi bir algoritma yazarsınız. Daha sonra yazılımı veriler üzerinde serbest bırakırsınız ve bilgisayar bir geri bildirim döngüsü aracılığıyla görevi nasıl yapacağını öğrenir. Örneğin, yazılımı kedi resimleri üzerinde eğiterek kedileri tanımayı öğretebilirsiniz.

Eğitme yöntemi elbette yapay zekanın özüdür. Büyük veri yaklaşımı olarak bilinir çünkü ne kadar çok yüksek kaliteli eğitim verisi mevcutsa, sonuç o kadar iyi olacaktır. Makul sonuçlar elde etmek için minimum eğitim verisi gereklidir.

En saf haliyle, eğitme yöntemi yapılandırılmamış verileri kullanabilir ve öğrenmenin kendisi denetimsiz bir şekilde gerçekleşir. Bu, insanların yazılıma eğitim konusunda hiç yardımcı olmadığı anlamına gelir.

Algoritma, verilen bir resmin bir kediye ait olup olmadığını örtük bağlamdan (açık etiketlemeden değil) öğrenecektir. Örneğin, bir platformun sıradan kullanıcıları, fotoğraflarının açıklamasına geçici ve spontane bir şekilde kedi kelimesini koyabilir, kedi kelimesi resmin göründüğü makalede olabilir veya bir video ise, insanlar kedi göründüğünde kedi kelimesini söyleyebilir. Tüm bu kullanıcı verileri elbette tamamen yapılandırılmamış (yani dağınık) ve algoritmanın bu dağınık verilerden kedinin ne olduğunu bulması gerekecek.

Elbette, bir algoritmanın denetimsiz olmasının potansiyel olarak büyük avantajları vardır. Bu potansiyel olarak, insanların verileri etiketleme ve kategorize etme konusunda büyük miktarda çaba harcamaktan kurtulacağı anlamına gelmektedir. Yüz bin kedi resmini doğru bir şekilde etiketlemek önemsiz (ya da bu konuda teşvik edici) değildir.

Sorunlar

Yapılandırılmamış eğitim yönteminin en önemli sorunlarından biri çok daha fazla veriye ihtiyaç duymasıdır. Eğer veri mevcut değilse, bu şekilde eğitilemez. Denetimli yaklaşımlar da çok fazla veriye ihtiyaç duyar, bu nedenle aynı sorundan muzdariptir.

Elbette insanların YZ'yi her şeye uygulamak yerine YZ'yi uygulamak için fırsatlar aramasının nedeni de budur. YZ algoritmaları, eğitim için çok fazla veri mevcut olduğunda (veya oyunlar söz konusu olduğunda çok fazla veri üretebildiklerinde) en iyi şekilde çalışır.

Yapılandırılmamış, denetimsiz yaklaşımla ilgili bir diğer sorun da eldeki veriler üzerinde algoritma yazmanın ve test etmenin çok daha zor olmasıdır. Algoritmanın yapılandırılmamış verilerle başa çıkmak için verilerin düzenli ve kategorize edilmiş olduğu durumlarda olması gerekenden daha sofistike olması gerekir.

Denetimli yaklaşım, verilerin nasıl kategorize edildiği konusunda sürece insani bir niyetlilik katar, ancak yine de bir tren yöntemi, bir büyük veri yaklaşımıdır. Algoritmaları anlayan insanlar verileri etiketleyebilir ve bunu yaparak algoritmanın işini azaltabilir.

Küçük veri yöntemi

Kod ve tren yöntemlerinin karışımı olan bir yöntem var ki ben buna "küçük veri yöntemi" diyeceğim. Bu, başlıkta ima ettiğim küçük veri yaklaşımıdır. Bir algoritmayı eğitmek için gereken veri miktarını büyük ölçüde azaltmak için hem kod hem de eğitme tekniklerini birleştirmek mümkündür.

Küçük veri yöntemi için bir geliştirici bir etkileşim modeli kodlar, ancak daha sonra bu model büyük veri yaklaşımı için gerekenden çok daha küçük bir veri seti üzerinde eğitilir. Bu, modelin saf eğitme yöntemiyle gerekenden çok daha hızlı eğitilmesiyle sonuçlanır.

Elbette bu küçük veri yaklaşımı, modeli kodlamak ve verileri eğitmek için gereken zamanın, verileri toplamak ve algoritmayı eğitmek için gereken zamandan çok daha az olması durumunda mantıklı olacaktır.

Küçük veri çözümünün şu anda mümkün olmayan şeyleri yapmamıza izin vereceği senaryolar vardır. Küçük veri yöntemi, eğitme yöntemi için gereken verilerin ilk etapta mevcut olmaması halinde kullanılabilecek tek yöntemdir. Bu durumda algoritmanın manuel olarak oluşturulan veriler üzerinde eğitilmesi gerekir. Normalde on binlerce kaydı elle oluşturmak pratik değildir.

Küçük veri yaklaşımı şu anda botpress.io gibi yapay zeka şirketleri tarafından araştırılıyor ve önümüzdeki yıllarda ana akım bir teknik haline gelmesini bekliyorum.