İş aklı ve veri ambarı projelerinde veri kalitesi ve veri temizleme teknikleri simülasyon uygulaması

Abstract

Müşterilerinin, ürünlerin, tedarikçiler ve adreslerinin bilgisine yüksek oranda hakim olan şirketler başarılı stratejiler ve taktikler geliştirebilir. Bu bilgiler en temel seviyede gelir arttırıcı girişimlerde ve maliyet yönetimi (yatırımların geri dönüşümü-ROI) girişimlerinde önemli etkiye sahiptirler. Bununla birlikte, tam bilgilenme için veri kalitesi ön şart olarak karşımıza çıkar. Sadece müşteriler, ürünler, tedarikçiler, adres bilgileri ve bunların aralarındaki ilişkiler hakkındaki doğru ve tam bilgiler, kuruma başarılı olması için veri ambarcılığı projelerinde gerekli olan iş aklım kazandıracaktır. Bugünkü iş dünyasında veriler, devamlı olarak farklı sistemler arasında akmaktadır. İşletmeye veriler, veri giriş sistemlerinden ve yapısallaşmamış internet cevaplan şeklinde sel gibi akmaktadır. Bir sistemden diğerine taşınmakta, iş kuralları sistemi içinde kalmak suretiyle kurumsal veri entegrasyon uygulaması (EAI) çözümlerine ulaşmadan önce ise, oldukça geniş bir şekilde yayılmaktadır. Ve veri işletme dışına entegre edilmiş bir şekilde, extranet ve Internet gibi tedarikçilere ve ortaklara ulaşılan sistemler aracılığıyla, seyahatine devam etmektedir. Bir başka deyişle, toplam kalite yönetimi (TQM) konseptiyle bakıldığında, veri kalitesinde ve özellikle toplam sistem kalitesinde düşüşe yol açan, verideki ve sistemlerdeki karmaşıklık, her geçen gün artmaktadır. Bu tezde, "YıldızETL" isimli bir ETL (veri seçme, dönüştürme ve yükleme) simülasyon uygulaması geliştirilmiştir. Bu yazılım uygulamasında, veri temizleme prosesinde kullanılan temel teknik ve algoritmalar, uygulamanın modüllerine geniş bir şekilde dağıtılmış olarak uygulanmıştır. Bu uygulamada müşteri ilişkileri yönetimi (CRM) için önemli olan müşteri/tedarikçi, ürün ve adres bilgilerine yoğunlaşılmıştır. Sonuç olarak seçme modülü oldukça başarılıdır ve hem veri tabanı hem de ortam bağımsızdır. Temizleme modülü, güvenilir ve güçlü veri kütüphanelerine ihtiyaç duyan veri-referanslı bir araç olarak, doğru bir şekilde çalışmaktadır. Dönüştürme modülü de başarılı olarak fonksiyonunu yerine getirmekte, ancak pazardaki mevcut ürünler gibi eşleştirme konusunda geliştirmeye ihtiyaç duymaktadır. Anahtar Kelimeler : Veri temizleme, veri kalitesi, Seçme Dönüştürme Yükleme (ETL), Kurumsal Uygulama Entegrasyonu (EAI), iş kuralları sistemi vıı