Veriler Kötü Olduğunda: Veri Kalitesi Nasıl İyileştirilir?

Veri kalitesi ve karar verme arasındaki ilişki açıktır. Çöp içeri, çöp dışarı, hatırladın mı? Kuruluşlar veri kalitesini (DQ) önemsemediğinde, onlara acımasız bir oyun oynayabilir. Kötü verilerin neden olduğu sorunları ele almak, bir şirkete yıllık gelirinin %15'inden %25'ine mal olabilir. Kötü veri kalitesinin kuruluşun dijital dönüşüm çabalarını engellediğinden bahsetmiyorum bile.

Veri ambarı çöp kutusu değildir. Yalnızca işiniz için değerli olan anlamlı verileri içermelidir. Veri ambarınızı boşaltarak, işinizi geliştirmek için yararlanamayacağınız ölü ağırlık verilerini depolamak için para harcarsınız.

Rakipler arasındaki konumunuzu yeniden şekillendirecek bir rekabet avantajı olarak bu kaybı nasıl kâra çevirir ve veri kalitesini nasıl kullanırsınız? Verilerle uğraşırken karşılaşabileceğiniz genel sorunları listeledik ve veri kalitesini iyileştirmenin yollarını özetledik.

Veri kalitesini iyileştirme yolunda karşılaşabileceğiniz altı olası sorun

Verilerin belirli kalite özellikleri vardır – eksiksizlik, geçerlilik, benzersizlik, tutarlılık, zamanlılık ve doğruluk. Onlarla ilgili bir takım meseleler var. Kötü DQ sonuçları:

• Veri siloları . McKinsey'e göre, ortak veri modeli olmayan çoklu veri gölleri ve ambarlar, kurumsal düzeydeki en büyük zorluklardan biridir. Yalnızca bir ambarınız olsa bile, verileriniz birden çok kurumsal sisteme dağıldığında bir analiz yürütmek zahmetli hale gelir.
• İnsan hataları . Müşteriler veya çalışanlar manuel olarak bilgi girerken “Minnesota” yerine “Minesota” yazmak gibi yazım hataları yaptıklarında gerçeği yansıtmayan veriler elde edersiniz.
• Yinelenen veriler . Bir çalışan müşteri verilerini CRM'nize girdiğinde ve bir başkası aynı müşteri verilerini başka bir sisteme kaydettiğinde, yinelenenlerle sonuçlanırsınız. Tamamen aynı değillerse, bir sorun var: hangisi güvenilir?
• Geçersiz veri İhtiyacınız olan veriler yerine herhangi bir veri alırsanız, analiz bir anlam ifade etmez. Bu hatanın bir örneği, ad alanının soyadıyla doldurulmasıdır. Hangi müdavimlerinizin kişisel bir indirimi hak ettiğini belirlemeniz gerektiğinde, bütün bir Smiths masasına sahip olduğunuzu hayal edin.
• Eksik değerler . İstatistiksel prosedürler için eksik veriler kabul edilemez. Bazı zorunlu alanlar doldurulmazsa, verileri analiz edip işlem yapamazsınız. Örneğin, bir müşteri memnuniyeti anketinde alıcılarınızın yaşı ve cinsiyeti hakkında veri topluyorsanız, sadece “kadın” ve “erkek” seçenekleri sunulduğunda bazılarının cinsiyeti ortaya çıkmayabilir. Bu, gençlerin kendilerini ikili olmayan, queer vb. olarak tanımlamalarıyla ilgili olabilir.
• Tutarsız veri biçimleri . Avrupa ve ABD tarzlarında girilen tarihlerle uğraşmak zorunda kaldığınızda cehennemden geçiyormuş gibi hissedebilirsiniz.

Yüksek kaliteli veriler, veri yönetimini kolaylaştırır. Ve verileri güvenle yönetebilirseniz, tüm şirketi güvenle yönetebilirsiniz. Bu nedenle DQ'yu yükseltmek, kuruluşların %91'i için önümüzdeki 6-12 ay için en önemli önceliklerden biri. DQ'nuzu düzeltmeye ne kadar erken başlamanız gerektiği konusunda hala kararsızsanız, bu, yarına kadar ertelememenizin işaretidir.

Veri kalitesi sorunları nasıl azaltılır: en son teknolojileri benimseyin

Veri kalitesi nasıl artırılır sorusunu yanıtlamadan önce veri yönetimini nasıl iyileştirebileceğinizi bulmanız gerekir. Dikkatinizi ve bütçenizi yeni teknolojilerin benimsenmesine odaklayın. Veri kalitesi geliştirme yolculuğunuzu kolaylaştırmak için en az iki olasılık vardır:

• İnsan hatalarını ortadan kaldırmak için otomasyondan yararlanın . Örneğin, robotik süreç otomasyonunu (RPA) benimsemek, çalışanlarınızı monoton, tekrarlayan işlemlerden kurtarır, insan hatası olasılığını ortadan kaldırır ve veri işleme maliyetini %80'e kadar düşürür. Örneğin, RPA ile tüm tarihleri ​​kolayca tek bir biçime dönüştürebilir, verilerin yokluğunu veya varlığını, gerçekliğini vb. doğrulayabilirsiniz, çünkü tüm bu eylemler bir bot tarafından gerçekleştirilen net bir algoritmaya indirgenebilir. Ayrıca, sağlık hizmetleri gibi yüksek düzeyde düzenlemeye tabi sektörlerde otomasyon, çok sayıda protokolle (HIPAA, PSQIA, GDPR, vb.) uyumluluğu iyileştirir ve böylece daha iyi bir hasta deneyimi oluşturmaya yardımcı olur.
• Verilerinizin kalitesini kapsamlı bir şekilde görmek için İş Zekası'ndan (BI) yararlanın . Bilgilerin hala güvenilir olduğundan emin olmak için verilerinizi düzenli olarak değerlendirmeniz gerekir.

Deneyimli BI analistleriyle işbirliği çok önemlidir. Hangi soruları yanıtlamanız gerektiğini, verilerinizle hangi hikayeyi anlatmak istediğinizi anlamanıza ve bu bilgilere dayalı özel bir gösterge panosu oluşturmanıza yardımcı olurlar.

— Ivan Dubouski, İş Zekası Takım Lideri, *instinctools

Genel bir gösterge panosu, verilerin veri kalitesi gereksinimlerini ne ölçüde karşıladığını gösterebilir. Gartner'a göre, veri kalitesi metriklerini izlemek, onları %60 oranında iyileştirmeye yardımcı oluyor.

Ayrıca, veri bilimcilerinize ve mühendislerinize, önemli veri kalitesi sorunlarının altında yatan sorunların öykülerini görselleştiren daha ayrıntılı panolar da sağlayabilirsiniz.

Veri kalitesi iyileştirme yolculuğunuza nereden başlayacağınıza karar vermek ve bu süreçte size yardımcı olacak uygun teknolojileri belirlemek için BI danışmanlık hizmetlerini kullanın.

Sağlam bir veri kalitesi iyileştirme stratejisi nasıl geliştirilir?

Tek seferlik girişimler ve geçici eylemler, hastalığı değil semptomları tedavi eder. Tüm organizasyon seviyelerinde personelinizi gelişmiş analitikle güçlendirmek için uzun vadeli stratejik ayarlamalara ihtiyacınız var. Bu nedenle, bir DQ girişimine geçmeden önce bir veri kalitesi stratejisi (DQS) oluşturun. Bunun altı hayati unsurunu listeledik.

1. Verilerinizin bir envanterini yapın ve sorunları tanımlayın

Farklı departmanlardan çalışanlar için ortak bir veri kalitesi vizyonu geliştirmek çok önemlidir. Bunu başarmak için aşağıdaki gibi temel soruları yanıtlayın: Ne kadar veriniz var? Ne tür veriler toplar ve saklarsınız? Verilerde kaç hata var? Ne tür hatalar bunlar?

2. Gereksinimlerinizi ve hedeflerinizi geliştirin

Bu aşamada, gelecekteki veri kalitesi iyileştirme sürecinin paydaşlarını belirlemelisiniz. Verileri farklı bakış açılarından değerlendirebilen daha fazla uzman, kuruluşunuz için DQ gereksinimlerini ve isteklerini ve veri kalitesini iyileştirmenin yollarını daha doğru bir şekilde tanımlayabilirsiniz.

Şirketinizin, verilerin kalitesini temel parametrelere göre değerlendirecek, kendini işine adamış bir çalışana, yani bir veri sorumlusuna ihtiyacı olduğu ortaya çıkabilir. Kuruluşunuzda hangi verileri tuttuğunuzdan sorumludurlar, verilerin nasıl kullanılabileceğine ilişkin dahili kuralları uygularlar ve verilerin şirket içindeki hareketini takip ederler. Bir veri sorumlusunun görevi, DQS'nizden kaynaklanan tüm süreçleri ve kararları koordine etmektir.

Kuruluşunuzun ölçeğine bağlı olduğundan, bir veri kalitesi iyileştirme planının uygulanması için yaklaşık bir zaman çizelgesi belirlemeyi unutmayın.

3. Farklı veri kümeleri için öncelikleri belirleyin

Müşteri verilerinin kalitesi ve şirketin dahili verileri üzerinde aynı anda çalışmak harika. Ancak bütçeniz sınırlıysa, işinizin başarısı ve büyümeniz için önceliğin hangi verilerin olduğunu iyileştirmeyi seçmeniz gerekir. Müşterilerin kişisel bilgileriyle ilgili verilerin kalitesini artırarak deneyimlerini kişiselleştirebilir ve müşteri memnuniyetini artırabilirsiniz. Ancak, kuruluşun dahili verilerini yenilemek size aynı ölçüde fayda sağlayabilir. Personeliniz hakkında yüksek kaliteli verilere sahip olarak, çalışanlarınızın potansiyelini ve yeteneklerini tam olarak ortaya çıkarabilir ve bir şirket içindeki süreçleri nasıl optimize edebileceğinizi ortaya çıkarabilirsiniz.

4. Veri kalitesini iyileştirmek için teknolojileri ve araçları seçin

Piyasadaki çok sayıda teklif göz önüne alındığında, özelliklerini, lisans maliyetlerini, ödeme seçeneklerini vb. karşılaştırmak zaman alıcı ve zor oluyor. Eski yazılımlarla yükleniyorsanız, görevin büyüdükçe daha karmaşık hale geldiğini düşünün. modernize etmek gerekebilir.

Yeni teknolojilerin ve araçların benimsenmesi, başlangıçta beklenenden daha fazla içeriden bilgi gerektirebilir, bu nedenle veri sorunlarını ele alma konusunda deneyimli teknoloji ortaklarını seçin.

5. Paydaşların rol ve sorumluluklarını belirleyin

Bu aşamada, bir veri sorumlusuna, veri mühendisine, iş analistine, yöneticilere vb. atanan görevlere karar verirsiniz. Veri kalitesi iyileştirme stratejinizin teknesinin sorunsuz bir şekilde yelken açması için, aynı yönde kürek çeken birçok ele ihtiyacınız vardır. Bir veri sorumlusu, kuruluş genelinde ve özellikle projelerde veri kalitesi standartlarını izleyebilir, iş analistleri, iş yararları açısından görevlere öncelik verir ve C-suite üyeleri, hangi eylemlerin yapılması gerektiğine dair nihai kararları verir.

6. İlerlemeyi değerlendirmek için KPI'ları ayarlayın

Altı ayda, bir yılda ne derece veri kalitesi elde etmek istiyorsunuz? Çalışanlarınızın farklı türdeki hataları düzeltmesi ne kadar zaman alabilir? Bunları ne ölçüde azaltmayı düşünüyorsunuz? Deneyimli bir iş analisti, kuruluşunuz için gerçekçi KPI'ları belirlemenize yardımcı olabilir.

Ölçüt olarak belirlediğiniz süre geçtiğinde, elde edilen sonuçları analiz edin, veri kalitesi iyileştirme stratejinizi gözden geçirin ve gerekirse değiştirin.

Veri kalitesi iyileştirme planınızın taslağı şöyle görünebilir.

Doğru veri analizi ve gerçek içgörüler için yolu temizleyin

İşlediğiniz verilerin kalitesi, içgörülerin ne kadar değerli olacağını belirler. Bir şekilde, gelişmiş analitik olmadan, bir kuruluş en azından parlak ve müreffeh bir gelecekten yoksundur.

Modern teknolojileri benimseyerek veri kalitesi sorunlarını kısmen ve geçici olarak çözebilirsiniz. Ama bu, bütün bir bina alevler içindeyken bir odadaki yangını söndürmek gibidir. Bir veri kalitesi iyileştirme planı oluşturmak, kalitesini artırmak için verilerinizle ne yapacağınızı, nasıl yapılacağını, süreçten kimin sorumlu olduğunu ve beklenen bir sonuca ne zaman ulaşabileceğinizi analiz etmek için ilerlemeyi takip etmenin kesin bir yoludur.

Makale ilk olarak burada yayınlandı.