http://dspace.yildiz.edu.tr/xmlui/handle/1/126 2026-04-08T13:34:32Z 2026-04-08T13:34:32Z Hüseynli, İlkin http://dspace.yildiz.edu.tr/xmlui/handle/1/12968 2022-08-26T10:57:35Z 2021-01-01T00:00:00Z

Studying deep learning models for manipulated face detection Hüseynli, İlkin Deepfakes allow users to manipulate the identity of a person in a video or an image. Previously, special hardware and skill were required to create such fake videos/images. But together with improvements on GAN-based techniques, generating more realistic and hard to detect manipulated faces became easier. This threatens individuals and decreases trust in social media platforms. In this work, our goal is to report eight different models’ learning ability on, by far, the largest fake face dataset - DFDC and test the generalization ability of these models with Celeb-DF-v2. Because the training dataset consists of high-quality videos, we started detecting and extracting faces from them. Next, we sampled data to have balanced classes and a feasible amount of data to train with limited resources. We started training with no extra augmentation because the dataset was big enough, and faces were already modified. Next, we added our default augmentation chain, inspired by other works and increased strength with Coarse-Dropout and Grid Mask augmentations. A separate test set from the DFDC dataset, which has unseen augmentations and distractors and a completely different Celeb-DF-v2 dataset, was used to evaluate results. As distinct from the train set, we followed different face extraction flow for the test sets. We issued face tracking by using simple Intersection over the Union and sampled faces that only tracked over a certain number of consecutive faces. For each video in the test set, the confidence of the sampled faces averaged, and a single confidence value was generated. To calculate video-based log loss values, we used this confidence values. For the Celeb-DF-v2 dataset, we also calculated Sensitivity and Specificity values. For these metrics, the optimal threshold was decided by using Equal Error Rate. We concluded that despite the relatively smaller size input EfficientNet-B4 model has the best learning and generalization ability. Training models with half-precision may speed up training time up to 2 times with very few losses. Finally, Coarse Dropout helped models to generalize better. Tez (Yüksek Lisans) - Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2021

2021-01-01T00:00:00Z Bayhan, Ensar http://dspace.yildiz.edu.tr/xmlui/handle/1/12967 2022-08-26T10:58:02Z 2021-01-01T00:00:00Z

Çekişmeli üretici ağlar ile sentetik veri üretiminin kredi kartı sahtekarlığı tespitine etkisi Bayhan, Ensar Gelişen teknoloji ile birlikte insanların ödeme alışkanlıkları değişmiş, kredi kartları daha güvenilir, hızlı ve pratik olması açısından nakit paranın yerini almaya başlamıştır. Temassız ve çevrimiçi ödemelerin de yaygınlaşması ile birlikte kredi kartları günümüzde, temel ödeme aracı olarak anılmaya başlanmıştır. Kredi kartı kullanımının artması, işlemlerin güvenli bir şekilde yapılmasını zorlaştırmış, kredi kartı sahtekarlarının yeni dolandırıcılık yöntemleri geliştirmesine olanak sağlamıştır. Bankalar sahtekarlık işlemlerinden her sene milyarlarca dolar zarar etmektedir. Oluşan maddi zararın yanında, müşteri ve itibar kaybı gibi manevi zararlara da sebep olmaktadır. Kredi kartı sahtekarlarının ele geçirdikleri kart bilgileriyle işlem yapmasını engelleyecek hızlı ve güvenilir sistemlere ihtiyaç duyulmaktadır. Bu çalışmada kredi kartı sahtekarlığı problemi incelenmiş, sahtekarlık işlemlerinin tespitinde başarı oranını attırmak için yeni bir yöntem önerilmiştir. Yapılan çalışmada normal ve sahtekarlık harcamalarına ait gerçek veri kümesi kullanılmıştır. ˙Ilk olarak hazırlanan veri kümesinin özellikleri belirlenmiştir. Ardından kart sahiplerinin önceki işlemleri kullanılarak yeni özellikler türetilmiş, mevcut özellikler ile birlikte yeni türetilen özelliklere, özellik seçimi uygulanmıştır. Yapılan bu özellik türetimi ve seçimi, kart kullanıcılarının ödeme alışkanlıklarının model tarafından daha iyi öğrenilmesini sağlamıştır. Mevcut özellikler kullanılarak rastgele orman sınıflandırıcısı ile %86.21 başarı elde edilirken, özellik türetimi ve seçimi işlemleri sonucunda %88.24 başarı elde edilmiştir. Kredi kartı sahtekarlığı için kullanılan veri kümelerinin en önemli ortak problemi sahte xiii ve yasal işlemlerin aşırı dengesiz olmasıdır. Bu çalışmada, bu soruna çözüm olması amacıyla GAN (Generative Adversarial Networks) ve SMOTE (Synthetic Minority Oversampling Technique) yöntemleri kullanılarak sentetik sahte işlemler üretilmiştir. Öncelikle, özellik türetme ve seçme işlemlerinden sonra elde edilen özelliklerin GAN’a uygun hale getirilmesi amacıyla özkodlayıcı (autoencoder) model kullanılarak özellik çıkarılmıştır. Veri kümesinde bulunan işlemler ile GAN modeli eğitilmiş, ardından çeşitli sayı ve oranlarda sentetik sahte ve yasal işlemler üretilmiştir. GAN, CGAN, WGAN ve CTGAN ile yapılan deneyler sonucunda en başarılı GAN modelinin CTGAN olduğu tespit edilmiştir. CTGAN ile 50.000 adet sentetik veri üretildiğinde %88.75 sınıflandırma başarısı elde edilmiştir. Kredi kartı sahtekarlığı tespiti yapmaya yönelik pek çok sistemde sahte işlem sayısının yetersizliği en önemli problemdir. Bu nedenle sistem başarısı 500 adet sahte ve 2500 adet yasal işlemden oluşan veri kümesi ile de değerlendirilmiştir. Bu veri kümesi için %80.59 olan sınıflandırma başarısı, 200 adet sentetik sahte işlem üretilerek mevcut örneklere eklendiğinde %82.33’e yükselmiştir. Bu sonuç kredi kartı sahtekarlığı için sentetik veri üretme işleminin sistem başarısını arttırdığını göstermektedir. Tez (Yüksek Lisans) - Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2021

2021-01-01T00:00:00Z Koçyiğit, Emre http://dspace.yildiz.edu.tr/xmlui/handle/1/12966 2022-08-26T10:58:18Z 2021-01-01T00:00:00Z

Derin öğrenme ile içerik tabanlı siber tehdit tespiti Koçyiğit, Emre Bilgisayarların insan hayatına girmesiyle karşılaşılan güvenlik problemlerinin başında siber tehditler yer almaktadır ve bu çalışmada özellikle en yaygın siber tehditlerden biri olan oltalama saldırıları ele alınmıştır. E-posta ya da SMS gibi çeşitli iletişim kanalları ile başlayan oltalama saldırıları çoğunlukla kullanıcıların bilgilerini çalmak amacıyla tasarlanmış oltalama internet sitelerinde devam etmektedir. Kullanıcı eğitimi, kara liste kullanımı gibi önleyici çözümler saldırıları engellemeye yeterli olmamaktadır ve saldırıların yol açtığı finansal kayıplar günden güne artmaktadır. Bu doğrultuda oltalama internet sitelerini gerçek zamanlı tespit edebilen yazılım sistemleri geliştirilmektedir. Bu projede sırasıyla Makine Öğrenmesi ve Derin Öğrenme teknikleri kullanılarak oltalama internet sitelerinin tespit edilmesi hedeflenmiştir. Oltalama saldırılarının başarılı bir şekilde sınıflandırılabilmesi için URL, metin veya görsel bazlı yaklaşımlar kullanılabilmektedir. Bu çalışmada içerik-tabanlı yaklaşım benimsenmiştir. İlk aşamada içerik-tabanlı olanlar önceliklendirilerek literatürdeki oltalama tespit çalışmaları araştırılmış ve içlerinden yedi adet içerik-tabanlı çalışma ele alınmıştır. Bu çalışmalardaki 168 eşsiz özelliğin kullanım sıklığı ölçülmüş ve “Gizlenmiş Etiket, Pop-up” sayısı gibi içerik-tabanlı 48 özellik seçilmiştir. Ayrıca veri setindeki örnekler analiz edilerek daha önce literatürde görülmemiş olan 9 içerik-tabanlı v özellik daha eklenmiştir. Toplamda 57 özellik hem analiz yöntemleri hem de Scikitlearn kütüphanesindeki fonksiyonlar yardımıyla modele olan etkilerine göre sıralanmıştır. Python, TensorFlow ve BeautifulSoup gibi araçlar kullanılarak veri setinde yer alan oltalama ve meşru internet sitesi içeriklerinin özellikleri çıkarılmıştır. Yedi farklı Makine Öğrenmesi sınıflandırma algoritmasıyla oluşturulan modeller için karışıklık matrisleri elde edilmiştir. En başarılı Makine Öğrenmesi algoritması %97’nin üzerinde doğruluk ve %3’ün altında Yanlış Pozitif Oranı ile Rastgele Orman algoritması olmuştur. Devamında Yinelenen Sinir Ağları, Çekişmeli Üretken Ağ Modelleri gibi Derin Öğrenme teknikleri ile çeşitli sınıflandırma modelleri denenmiştir. Farklı aktivasyon fonksiyonları, katman tipleri ve parametreler kullanılarak yapılan deneysel çalışmalar sonucunda Makine Öğrenmesi algoritmalarından daha başarılı oltalama internet sitesin tespit edebilen Derin Öğrenme modelleri elde edilmiştir. Gelecekteki çalışmalarda içerik tabanlı özelliklerin artırılması, evrimsel algoritmalarla hiper-parametre optimizasyonu ve hibrit yaklaşımların kullanılması ile sınıflandırma modellerinin başarısı artırılabilir. Tez (Yüksek Lisans) - Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2021

2021-01-01T00:00:00Z Uçar, Mukaddes http://dspace.yildiz.edu.tr/xmlui/handle/1/12965 2022-08-26T10:58:34Z 2020-01-01T00:00:00Z

Üretici yapay nöron ağlarının mimari tasarım için kullanılması Uçar, Mukaddes Üretici Çekişmeli Ağlar (ÜÇA) birbiriyle rekabet eden iki ayrı derin yapay nöron ağından oluşan, yeni ve gerçekçi yapay örnekler üretmeyi amaçlayan üretici modellerdir. Bu iki ağdan birisi olan üretici ağ rassal gürültü vektörünü girdi olarak alır ve gürültüyü yapay bir görüntü örneğine dönüştürerek çıktı olarak verir. Üretici Çekişmeli Ağ’ı oluşturan diğer ağ ise ayırt edici ağdır. Ayırt edici ağ, üretici ağdan elde edilen görüntü ile gerçek bir görüntü örneğini girdi olarak alır ve her birini "üretilmiş görüntü" veya "gerçek görüntü" olarak sınıflandırır. Ağların optimizasyonu için eğitim aşamasında her iki ağın kayıp fonksiyonları farklı biçimde hesaplanır. Üretici ağda üretilmiş örnek için kayıp hesaplanarak parametrelerin optimizasyonu yapılır. Ayırt edici ağda ise hem gerçek hem de üretilmiş örnekler için toplam kayıp hesaplanarak ağ parametrelerine geri besleme uygulanır. Birbiriyle rekabet eden iki ağdan birisinin parametre güncellemesi diğer ağın parametrelerini değişime zorlamıyorsa parametre eğitimi sonlandırılır. Üretici ağın güncel parametre değerleriyle yapay örnekler üretilir. Eldeki veri kümesinin olasılıksal dağılımını öğrenerek, bu dağılıma uygun örnekler üretmeyi amaçlayan ÜÇA ile yapay görüntü ve video üretme konusunda çeşitli çalışmalar yapılmıştır. Bu çalışma ile derin ağların üretici modellerinden birisi olan Üretici Çekişmeli Ağlar'ın farklı mimari tarzlarda bina ve bina unsurlarını üretmedeki başarımları üzerine bir araştırma yapılmıştır. ÜÇA yardımıyla Romanesk ve İslam mimarisi gibi farklı mimari tarzlarda gerçekçi yapılar üretilmiştir. Eğitimde kullanılan görüntü veri kümesi yaklaşık 39000 cami, kilise, katedral, medrese, kütüphane ve kalelere ait görüntülerden oluşturulmuştur. Veri kümesinde binaların dış ve iç cephe görüntülerinin yanında kubbe, kule, minare, tonoz, kapı girişi ve vitray gibi mimari unsurlar bulunmaktadır. Bu çalışmada Üretici Çekişmeli Ağlar ile gerçekçi ve yüksek kalitede Romanesk ve İslam mimarisi örnekleri üretmek için BigGAN ağ mimarisi üzerinde gerekli düzenlemeler yapılmıştır. Üretilen görüntüler ile modelin başarısı ve performans değerlendirme metrikleriyle örnek kalitesi değerlendirilmiştir. Yapılan anket çalışmasıyla görüntülerin gerçekçiliği ve örneklerdeki problemler araştırılmıştır. 48 katılımcının çoğunluğu örneklerin genellikle gerçekçi ya da gerçeğe yakın olduğu görüşündedir. Katılımcılara göre gerçekçi olmayan örneklerde temel problemler mevcuttur: simetri özelliğinin olmaması, detay özelliklerin eksikliği, görüntülerde çizgisel kayma ve kırılmalar ve keskinliğin yetersiz olması. Ayrıca bu anketin bir benzeri mimari alanında uzman kişilere uygulanmıştır. Ankete katılan 24 uzmana göre Romanesk mimarisi örnekleri İslam mimarisi örneklerine göre daha gerçekçidir. Görüntülerde öne çıkan yapısal özellikler ve modelin üretmekte zorlandığı mimari özellikler incelenmiştir. Ayrıca üretilen örneklerin kalitesi mimaride uzman bir kişi tarafından değerlendirilmiştir. İslam mimarisi örneklerinin çok geniş bir coğrafyada yer alması nedeniyle mimari tarz farklılaşmaktadır. Bu durum da Romanesk mimarisi örnekleriyle karşılaştırıldığında İslam mimarisi örneklerinin daha başarısız olduğunu göstermektedir. Modelin ezberleme yapma olasılığını değerlendirmek için İçerik Tabanlı Görüntü Erişimi yöntemi yardımıyla eğitilmiş ayırt edici ağ kullanılarak yeni bir yöntem geliştirilmiştir. Üretilen görüntülere en benzer gerçek görüntüler tespit edilerek bu görüntülere çeşitli transformasyon işlemleri uygulanmıştır. Üretilen örneklerle karşılaştırıldığında, transformasyon uygulanmış görüntülerin orijinal görüntülere daha benzer olması modelin ezberleme yapmış olma olasılığının düşük olduğunu göstermiştir. Tez (Yüksek Lisans) - Yıldız Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2020

2020-01-01T00:00:00Z