Kiedy dane się zepsują: jak poprawić jakość danych?

Korelacja między jakością danych a podejmowaniem decyzji jest oczywista. Śmieci na zewnątrz, śmieci na zewnątrz, pamiętasz? Kiedy organizacji nie zależy na jakości danych (DQ), może to zrobić im okrutną sztuczkę. Obsługa problemów spowodowanych złymi danymi może kosztować firmę od 15% do 25% jej rocznych przychodów. Nie wspominając o tym, że niska jakość danych utrudnia wysiłki organizacji w zakresie transformacji cyfrowej.

Hurtownia danych to nie kosz na śmieci. Powinien zawierać tylko istotne dane, które są cenne dla Twojej firmy. Robiąc zrzut z magazynu danych, marnujesz pieniądze na przechowywanie danych o martwym ciężarze, których nie możesz wykorzystać do rozwoju swojej firmy.

Jak zamienić tę stratę w zysk i wykorzystać jakość danych jako przewagę konkurencyjną, która zmieni Twoją pozycję wśród rywali? Wymieniliśmy typowe problemy, które możesz napotkać podczas pracy z danymi, oraz przedstawiliśmy sposoby poprawy jakości danych.

Sześć możliwych problemów, które możesz napotkać na drodze do poprawy jakości danych

Dane mają szczególne cechy jakościowe – kompletność, aktualność, niepowtarzalność, spójność, aktualność i dokładność. Wiąże się z nimi szereg kwestii. Złe wyniki DQ w:

• Silosy danych . Według McKinsey, wiele jezior i hurtowni danych bez wspólnego modelu danych to jedno z największych wyzwań na poziomie przedsiębiorstwa. Nawet jeśli masz tylko jedną hurtownię, przeprowadzenie analizy staje się kłopotliwe, gdy dane są rozproszone w wielu systemach przedsiębiorstwa.
• Błędy ludzkie . Gdy klienci lub pracownicy robią literówki, takie jak pisanie „Minesota” zamiast „Minnesota”, podczas ręcznego wprowadzania informacji, otrzymujesz dane, które nie odzwierciedlają rzeczywistości.
• Zduplikowane dane . Kiedy jeden pracownik wprowadza dane klienta do Twojego CRM, a inny zapisuje te same dane klienta do innego systemu, otrzymujesz duplikaty. Jeśli nie są całkowicie identyczne, pojawia się problem: który z nich jest niezawodny?
• Nieprawidłowe dane . Analiza nie ma sensu, jeśli zamiast tych, których potrzebujesz, otrzymujesz tylko dowolne dane. Przykładem tego błędu jest wypełnienie pola nazwiska nazwiskami. Wyobraź sobie, że masz cały stół Smithów, gdy musisz określić, który z Twoich stałych bywalców zasługuje na osobistą zniżkę.
• Brakujące wartości . Brakujące dane są niedopuszczalne w procedurach statystycznych. Jeśli niektóre obowiązkowe pola nie są wypełnione, nie możesz analizować danych i podejmować działań. Na przykład, jeśli zbierasz dane na temat wieku i płci swoich kupujących w ankiecie satysfakcji klienta, niektórzy z nich mogą nie ujawniać swojej płci, jeśli oferowane są tylko opcje „kobieta” i „mężczyzna”. Może to być związane z identyfikowaniem się młodych ludzi jako osób niebinarnych, queer itp.
• Niespójne formaty danych . Możesz mieć wrażenie, że przechodzisz przez piekło, gdy musisz obsługiwać daty wprowadzone w stylu europejskim i amerykańskim.

Wysokiej jakości dane ułatwiają zarządzanie danymi. A jeśli możesz śmiało zarządzać danymi, możesz śmiało zarządzać całą firmą. Dlatego podnoszenie DQ jest jednym z głównych priorytetów na najbliższe 6-12 miesięcy dla 91% organizacji. Jeśli nadal nie jesteś zdecydowany, jak szybko powinieneś zacząć naprawiać swoje DQ, to znak, by nie odkładać tego do jutra.

Jak łagodzić problemy z jakością danych: stosuj najnowocześniejsze technologie

Zanim odpowiesz na pytanie, jak poprawić jakość danych, musisz najpierw dowiedzieć się, jak poprawić zarządzanie danymi. Skoncentruj swoją uwagę i budżet na przyjmowaniu nowych technologii. Istnieją co najmniej dwie możliwości ułatwienia podróży w zakresie poprawy jakości danych:

• Skorzystaj z automatyzacji , aby wyeliminować błędy ludzkie . Na przykład wdrożenie robotyzacji procesów (RPA) uwalnia pracowników od monotonnych, powtarzalnych operacji, eliminuje możliwość błędu ludzkiego i obniża koszty przetwarzania danych nawet o 80%. Na przykład dzięki RPA możesz łatwo przekonwertować wszystkie daty do jednego formatu, zweryfikować brak lub obecność danych, ich aktualność itp., ponieważ wszystkie te działania można sprowadzić do czytelnego algorytmu wykonywanego przez bota. Poza tym w wysoce regulowanych branżach, takich jak opieka zdrowotna, automatyzacja poprawia zgodność z licznymi protokołami (HIPAA, PSQIA, GDPR itp.), a tym samym pomaga zapewnić lepsze wrażenia pacjentów.
• Wykorzystaj Business Intelligence (BI), aby mieć pełny wgląd w jakość swoich danych . Musisz regularnie oceniać swoje dane, aby upewnić się, że informacje są nadal wiarygodne.

Kluczowa jest współpraca z doświadczonymi analitykami BI. Pomagają ci dowiedzieć się, na które pytania musisz odpowiedzieć, jaką historię chcesz opowiedzieć za pomocą swoich danych i stworzyć niestandardowy pulpit nawigacyjny na podstawie tych informacji.

— Ivan Dubouski, lider zespołu Business Intelligence, *instinctools

Ogólny pulpit nawigacyjny może pokazywać, w jakim stopniu dane spełniają wymagania dotyczące jakości danych. Według Gartnera wskaźniki jakości danych śledzenia pomagają je poprawić o 60%.

Możesz również udostępnić analitykom danych i inżynierom bardziej szczegółowe pulpity nawigacyjne, które wizualizują historie problemów leżących u podstaw głównych problemów z jakością danych.

Skorzystaj z usług konsultingowych BI, aby zdecydować, od czego rozpocząć podróż do poprawy jakości danych i zidentyfikować odpowiednie technologie, które pomogą Ci w tym.

Jak opracować solidną strategię poprawy jakości danych

Jednorazowe inicjatywy i działania ad hoc leczą objawy, a nie chorobę. Potrzebujesz długoterminowych strategicznych dostosowań, aby wyposażyć swoich pracowników w zaawansowaną analitykę na wszystkich poziomach organizacji. Dlatego przed przejściem do inicjatywy DQ stwórz strategię jakości danych (DQS). Wymieniliśmy sześć ważnych jego elementów.

1. Zrób spis swoich danych i opisz problemy

Niezbędne jest wypracowanie wspólnej wizji jakości danych dla pracowników z różnych działów. Aby to osiągnąć, odpowiedz na podstawowe pytania, takie jak: Ile masz danych? Jakie rodzaje danych zbierasz i przechowujesz? Ile błędów jest w danych? Jakie to są błędy?

2. Rozwiń swoje wymagania i cele

Na tym etapie powinieneś zidentyfikować interesariuszy przyszłego procesu poprawy jakości danych. Im więcej ekspertów może ocenić dane z różnych perspektyw, tym dokładniej możesz zdefiniować wymagania i aspiracje DQ dla swojej organizacji oraz sposoby poprawy jakości danych.

Może się okazać, że Twoja firma potrzebuje dedykowanego pracownika, który oceni jakość danych według kluczowych parametrów – stewarda danych. Są odpowiedzialni za to, jakie dane przechowujesz w swojej organizacji, egzekwują wewnętrzne zasady dotyczące sposobu wykorzystania danych oraz śledzą ruch danych wewnątrz firmy. Misją stewarda danych jest koordynacja wszystkich procesów i decyzji, które wynikają z Twojego DQS.

Nie zapomnij ustalić przybliżonego harmonogramu wdrożenia planu poprawy jakości danych, ponieważ zależy to od skali Twojej organizacji.

3. Ustaw priorytety dla różnych zestawów danych

Praca nad jakością danych klientów i danych wewnętrznych firmy jednocześnie jest świetna. Ale jeśli masz ograniczony budżet, musisz wybrać poprawę, które dane są priorytetem dla sukcesu i rozwoju Twojej firmy. Podnosząc jakość danych związanych z danymi osobowymi klientów, możesz spersonalizować ich doświadczenia i zwiększyć satysfakcję klientów. Jednak reorganizacja wewnętrznych danych organizacji może przynieść Ci równie wiele korzyści. Dysponując wysokiej jakości danymi o swoich pracownikach, możesz w pełni odkryć potencjał i talenty swoich pracowników oraz odkryć, jak zoptymalizować procesy w firmie.

4. Wybierz technologie i narzędzia w celu poprawy jakości danych

Biorąc pod uwagę ogromną liczbę ofert na rynku, porównywanie ich funkcji, kosztów licencji, opcji płatności itp. okazuje się czasochłonne i trudne. Weź pod uwagę, że jeśli jesteś obciążony przestarzałym oprogramowaniem, zadanie staje się bardziej skomplikowane, gdy być może trzeba go zmodernizować.

Wdrażanie nowych technologii i narzędzi może wymagać większej wiedzy wewnętrznej, niż początkowo oczekiwano, więc wybierz partnerów technologicznych, którzy są starzy w rozwiązywaniu problemów z danymi.

5. Zidentyfikuj role i obowiązki interesariuszy

Na tym etapie ustalasz zadania przydzielone stewardowi danych, inżynierowi danych, analitykowi biznesowemu, kadrze kierowniczej itp. Aby łódź ze strategią poprawy jakości danych płynęła płynnie, potrzebujesz wielu rąk wiosłowania w tym samym kierunku. Zarządca danych może śledzić standardy jakości danych w całej organizacji, aw szczególności w poszczególnych projektach, analitycy biznesowi ustalają priorytety zadań z punktu widzenia korzyści biznesowych, a członkowie zespołu zarządzającego podejmują ostateczne decyzje o tym, jakie działania należy podjąć.

6. Ustaw KPI, aby ocenić postęp

Jaki stopień jakości danych chcesz osiągnąć w sześć miesięcy, w rok? Ile czasu może zająć Twoim pracownikom poprawienie różnego rodzaju błędów? W jakim stopniu spodziewasz się ich zmniejszenia? Doświadczony analityk biznesowy może pomóc w określeniu realistycznych wskaźników KPI dla Twojej organizacji.

Gdy minie okres wyznaczony jako test porównawczy, przeanalizuj osiągnięte wyniki, przejrzyj swoją strategię poprawy jakości danych i zmodyfikuj ją, jeśli to konieczne.

Szkic planu poprawy jakości danych może wyglądać tak.

Oczyść drogę do dokładnej analizy danych i prawdziwych spostrzeżeń

Jakość przetwarzanych danych decyduje o tym, jak cenne będą spostrzeżenia. W pewien sposób bez zaawansowanej analityki organizacja pozbawiona jest przyszłości, przynajmniej takiej, która jest świetlana i dostatnia.

Możesz częściowo i tymczasowo rozwiązać problemy z jakością danych podczas nagrywania, stosując nowoczesne technologie. Ale to jak gaszenie pożaru w jednym pokoju, kiedy cały budynek zostaje w płomieniach. Tworzenie planu poprawy jakości danych to niezawodny sposób na określenie , co zrobić z danymi, aby poprawić ich jakość, jak to zrobić, kto jest odpowiedzialny za proces i śledzić postępy w celu analizy, kiedy można osiągnąć oczekiwany wynik.

Artykuł został pierwotnie opublikowany tutaj.