Gözetim videolarının periyodik tekrar bilgileri kullanılarak özetlenmesi

Abstract

Gözetim ve izleme amaçlı çok fazla miktarda kayıt yapılmakta, saklanılmakta ve gerektiğinde incelenmektedir. Bu kadar büyük miktardaki verinin hepsinin insan gözü ile incelenip analiz edilmeye çalışılması ve sadece önemli bilgilerin çıkarılması büyük bir efor gerektirmektedir. Bu zorluğu kolaylaştırabilmek ve büyük miktardaki veri saklama maliyetini azaltabilmek amacıyla son yıllarda farklı yöntemlerle video özetleme çalışmaları yapılmaktadır. Gözetim ve izleme videolarından özet çıkaran uygulamalarda amaç genellikle ortamdaki insanların hareketlerini değerlendirmektir. İnsanların yaptıkları hareketler genellikle yürümek, koşmak, yemek yemek gibi periyodik hareketlerdir. Bu çalışmada, RGB-d kameradan alınan video görüntülerindeki periyodik hareketlerin sadece bir periyodunu elde ederek bunlardan bir özet oluşturan yeni bir insan hareketi özetleme sistemi önerilmiştir. Videolarda geçen hareketlerden periyodik olanların bulunması ile hem büyük bilgiden sadece anlamlı bilgi elde edilmiş hem de özetleme sırasında oluşabilecek veri kaybını azaltan bir sistem elde edilmiştir. Yapılan çalışmada önce video çerçevelerindeki kişinin yeri bulunarak iskelet bilgileri elde edilmiştir. İskeletteki eklemlerin yatay eksen ile yaptığı açı değerleri sepetlere ayrılarak bulunan değerlerden bir çerçevenin özelliklerini oluşturulmuştur. Bu özellikler kullanılarak videoyu temsil eden vektörler oluşturulmuştur. Oluşturulan bu vektörler de esnek bir arama algoritması olan LCS'de (Longest Common Subsequence – En Uzun Ortak Alt Küme) periyodik hareket arama işleminde kullanılmış ve periyodik hareketler tespit edilmiştir. Tespit edilen periyodik hareketlerden birer periyot alınarak tekrardan uzak özet video oluşturulmuştur. Özet videolarda fazladan bulunan hareket periyotları dikkate alındığında üretilen özet videodaki bilgi tekrar oranı ise yaklaşık olarak %5 olarak gerçekleşmiştir. Sistemin periyodik hareketleri bulma başarısı ise %90 olarak gerçekleşmiştir.