Yüz ifadelerinin görünüm tabanlı ve dinamik özellikleri kullanılarak olumsuz koşullar altında hibrit yüz tanıma

Abstract

Biyometrik sistemler, bir bireyin benzersiz fiziksel veya davranışsal özelliklerini ölçmeyi ve analiz etmeyi amaçlamaktadır. Biyometrik sistemlerin temel özelliği, kendine özgü özelliklere sahip vücut yapılarının kullanılmasıdır. Literatürde fizyolojik özellikleri (parmak izi, iris, avuç içi izi, yüz vb.) kullanan biyometrik sistemler ile davranışsal özellikleri (imza, yürüme, konuşma kalıpları, yüz dinamikleri vb.) kullanan sistemler bulunmaktadır. Son zamanlarda yüz biyometrisi, genellikle kullanıcının işbirliğini gerektirmeyen ve kişisel özel alanı ihlal etmeden elde edilebildiği için en çok tercih edilen biyometrik verilerden biri olmuştur. Son zamanlarda derin öğrenme tabanlı yüz tanıma yöntemleri, büyük veri tabanlarında dikkate değer tanıma başarımları elde etse de, performanslarının olumsuz koşullar altında (örn. şiddetli aydınlatma ve kontrast değişimleri; bulanıklık ve gürültü) düştüğü görülmüştür. Bu koşullar altında, yüz dinamikleri gibi yumuşak biyometrik özniteliklerin, görünüm temelli özniteliklerle birlikte kullanılması halinde performansı artırması beklenmektedir. Bu tezde, gülümseme ifadesi sırasında derin evrişimli sinir ağlarından çıkarılan görünüme dayalı özniteliklerin yanı sıra, yüzün nirengi noktalarının konumlarından çıkarılan istatistiksel yüz dinamiklerini kullanan yeni bir hibrit yüz tanıma sistemi önerilmektedir. Farklı parametrelere sahip önemli görüntü bozulmaları altında, literatürdeki en başarılı yöntemler arasında yer alan, önceden eğitilmiş üç farklı derin evrişimli sinir ağlarının (VGG-Face, VGG-Face 2 ve ArcFace) performansları değerlendirilmiştir. Deneysel çalışmaların sonuçları, yalnızca DESA tabanlı nitelikleri kullanan yüz tanıma performansının olumsuz koşullar altında önemli ölçüde düşmesine rağmen, yüz dinamikleri özniteliklerinin, derin evrişimli sinir ağı tabanlı özeliklerle birlikte kullanılmasının performans kaybını telafi edebileceğini ve doğruluğu önemli ölçüde artırabileceğini göstermektedir. Önerilen sistem, çok çeşitli aydınlatma varyasyonlarına sahip, bulanık ve gürültülü görüntüler içerebilen yüz tanıma problemlerinde ve yüz tanıma yanıltma ataklarına karşı faydalı olabilecektir.