Gerçek zamanlı güvenlik kamerası videolarının insan tabanlı özetlenmesi

Abstract

Bu tez çalışmasında güvenlik kameralarından alınan video görüntülerinin insan tabanlı özetlemesini yapan bir sistem tasarlanmış ve gerçekleştirilmiştir. Önemli bir olay gerçekleştiğinde, bazen kayıtların saatler süren bölümlerinin incelenmesi gerekmektedir. Aynı zamanda yapılan kayıtların tamamının saklanması mümkün olmadığından, belirli aralıklarla eski kayıtlar silinmekte, bu durumda da gerektiğinde istenilen kayıtlara ulaşmak her zaman mümkün olmamaktadır. Bu nedenlerden dolayı bu görüntülerin özetlenerek kısaltılması ve sadece anlamlı parçalarının kullanılması bir gereklilik haline gelmiştir.Çalışma gerçekleştirilirken ön işlem adımları olarak Gauss Karışım Modeli ile ön plan çıkarımı yapılmıştır. Daha sonra çıkarılan ön plan Blob Analizi ile çerçeve içine alınmıştır. Çerçeve içine alınan nesnenin hareket bilgisini elde etmek için optik akış yöntemi kullanılmıştır. Hareket bilgisi çıkarılan nesneye yönlü gradyanlar yöntemi uygulanarak özellik çıkarımı yapılmıştır.Her nesne için çıkarılan yönlü gradyan özellikleri kullanılarak, çevrimdışı olarak oluşturulan eğitim seti yardımıyla Destek Vektör Makinesi yöntemi kullanılarak nesnenin insan olup olmadığına karar verilmiştir. Eğer nesne insan ise Kalman Filtresi ile insan takibi gerçekleştirilir. Yönlü gradyan bilgilerini taşıyan histogramlara zaman bilgisi eklenerek, video boyunca nesneye ait hareket bilgisi sürekli hale getirilmiştir. Sürekli hale getirilen gradyan bilgisi üzerine Şablon Eşleme yöntemi uygulanarak hareket kalıpları ve bu hareket kalıplarının tekrar başlangıçları bulunmuştur. Bulunan hareket kalıplarının geçiş noktaları da hareket geçişleri olarak işaretlenmiştir. Hareket geçişleri video için videonun önemli anlarıdır.Çalışma 4 ayrı veri setinde test edilmiştir. Sistemin özetleme başarısı, periyodik hareketleri tespit etme başarısıdır. İlk olarak test edilen veri seti genel kullanıma açık olan Weizmann İnsan Hareketi Veri Seti'dir. Bu veri setinden 6 kişiye ait 9 farklı hareket için özetleme işlemi gerçekleştirilmiştir. Bu örneklerde %89,47 özetleme başarısı tespit edilmiştir. İkinci kullanılan veri setinde güvenlik kamerası kayıtlarında olaşabilecek çeşitli durumlar için senaryolar 3 farklı kişi tarafından gerçekleştirilmiştir. Veri seti üzerinde gerçekleştirilen test çalışmaları sonucunda %93,44 başarı oranı elde edilmiştir. İkinci veri setiyle benzer senaryoların farklı kamera açısıyla gerçekleştirildiği üçüncü bir veri seti üzerinde yapılan denemeler sonucunda %89,29 başarı oranı yakalanmıştır. Birden fazla kişinin bulunduğu videolarda ise %75,76 gibi bir başarı gözlemlenmiştir.