Kinect rgb görüntülerinde ve derinlik haritalarında uzam-zamansal özellikleri kullanarak işaret dili tanıma

Abstract

İnsan bilgisayar etkileşimi (HCI-Human Computer Interaction), 20. yy.?ın son çeyreği ile 21. yy.?ın ilk yıllarında bilgisayar sistemlerinin hızlı bir biçimde gelişmesine paralel olarak akademik dünyadaki çalışmalarda ve bu çalışmalara bağlı olarak gündelik yaşamda kendine yer edinmiştir. Özellikle makine öğrenmesi, robotik, görüntü işleme ve bilgisayarla görü alanlarındaki problem odaklı araştırma ve çalışmalar ile bu alan ivmeli bir biçimde genişlemektedir. Yeni problemlerin hayata girmesi ve yeni ihtiyaçların doğması da kuşkusuz insan bilgisayar etkileşimine dayalı çalışmalara ve çalışma alanlarına etki etmekte ve yön vermektedir. İnsan bilgisayar etkileşimi dâhilinde temel olarak bilgisayar yazılımlarının, bilgisayar işletim sistemlerinin, robotların, uzaktan veya yakından kumanda edilmesi planlanan araçların kontrollerine yönelik araştırma ve uygulamalar yapılmaktadır. Bilgisayar sistemlerinin komuta edilebilmesinde ve bu sistemlerle etkileşimlerin sağlanmasında ses ve görüntü işaretleri kullanılmakta olup bu işaret türleri probleme ve ihtiyaca bağlı olarak tercih edilebilmektedir. Son yıllarda özellikle görüntü işleme ve bilgisayarla görü alanlarındaki gelişmelerle beraber görü tabanlı sistemlerin insan bilgisayar etkileşimlerinde kullanımı yaygınlaşmaktadır. Görü tabanlı sistemler, kullanım kolaylığı ve sistem basitliği bakımından avantaj sağlamakla beraber ortam aydınlığındaki farklılıklar ve örtüşme gibi sebeplerle sorun çıkartabilmektedir. Bu tarz sistemlere yönelik sorunların azaltılması için problem odaklı çözümlere yönelinmektedir. Elektronik cihaz ve bilgisayar yazılımına kumanda ederek etkileşim kurmak için görü tabanlı sistemler tercih edilmektedir. Etkileşimi sağlamak amacıyla, etkileşimde kullanılan öğelerin bilgisayar sistemleri tarafından yüksek başarım oranları ile tanınması da gerekmektedir. Bu amaçla makine öğrenmesi de bu tarz çalışma alanlarında sistemlerin eğitilmesi ve tanıma işlemleri gerçekleştirerek karar verilmesinde önem arz etmektedir. Sistemlerle etkileşim kurabilmek adına ses gibi elektriksel işaretlerin yanı sıra el, yüz, kafa ve vücut ile yapılan görsel işaretler de kullanılabilmektedir. Son yıllarda özellikle el hareketleri kullanılarak kontrol edilen sistemlerin sayısında önemli artışlar görülmektedir. Bu sistemler arasında, işitme ve konuşma engellilerin iletişim sağlamak amacıyla kullandıkları işaret dillerinin tanınmasına yönelik araştırmalar da mevcuttur. Bu çalışmada işaret dillerinin tanınması amacıyla mevcut yöntemler incelenerek tanıma başarısını arttırmak hedeflenmiştir. İşaret dili konuşma ve işitme engellilerin kendi aralarındaki ve başkaları ile iletişimlerinde kullandıkları, el, yüz, vücut hareketlerinden oluşan görsel bir dildir. İşaret dil, işitme ve konuşma engellilerin ana dili olarak tanımlanır ve iletişimlerinin çok önemli bir bölümünü oluşturur. Bu sebeple bu dillerin bilgisayar sistemleri tarafından tanınarak yorumlanması, her ne kadar teknolojik açıdan önemli ise sosyal açıdan da büyük önem arz etmektedir. İşaret dillerine ait hareketler durağan (posture) ve durağan olmayan (gesture) hareketlerden oluşmaktadır. Bu tez çalışmasında değerlendirilen hareketler durağan olmayan video görüntüleridir. İşaretlere ait özniteliklerin çıkarımında iki aşamalı uzam-zamansal bir yapı kullanılmıştır. İlk aşamada işaretlerin zamansal öznitelikleri, ardışıl görüntü çerçeveleri arasındaki parlaklık farklarına dayalı toplamsal imge yaklaşımı kullanılarak çıkarılmış ve tek bir imge ile ifade edilmiştir. İkinci aşamada zaman uzayında çıkarılan bu öznitelikler Ayrık Kosinüs Dönüşümü (DCT - Discrete Cosine Transform) ile uzamsal özniteliklere dönüştürülmüştür. Kullanılan dönüşüm yöntemi ile elde edilen en yüksek enerjili katsayılar farklı oranlarda, zig-zag tarama yöntemi ile seçilerek tanıma aşamasında kullanılacak öznitelikler oluşturulmuştur. Yaklaşımın başarımını sınamak amacıyla K-en yakın komşu (K-NN) sınıflandırıcısı kullanılmıştır. Sistemin eğitim ve test aşamalarında Amerikan İşaret Dili?ne (ASL) ait 20 kelimeden, toplamda ise 800 işaretten oluşan bir veri seti ile bu tez çalışması kapsamında yeni oluşturulan Türk İşaret Dili?ne (TİD) ait 111 kelimeden, toplamda ise 1002 işaretten oluşan bir veri seti kullanılmıştır. Test aşamalarında sistemin verimliliğini sınamak amacıyla çapraz doğrulama ile farklı test örnekleri seçilmiştir. Bu sayede her örneğin eğitim ve test kümelerinde kullanımı sağlanarak daha genel geçer bir sonuç alınması hedeflenmiştir. Tez kapsamında Kinect algılayıcı kullanılarak oluşturulan Türk İşaret Dili?ne ait veri setinde RGB-D video görüntülerinde derinlik bilgisi de tanıma başarısını arttırmada etkin olarak kuıllanılmıştır. Ardışıl hareket farklarını ve dönüşüm yöntemlerini kullanarak uzam-zamansal öznitelikleri çıkaran sistemle ve K-en yakın komşu sınıflandırıcısı ile ASL veri setinde %95-99, TİD veri setinde %80-98 arasında değişen başarımlarla işaret diline ait durağan olmayan görüntüler tanınabilmiştir.