Quando i dati vanno male: come migliorare la qualità dei dati?

La correlazione tra qualità dei dati e processo decisionale è ovvia. Spazzatura dentro, spazzatura fuori, ricordi? Quando le organizzazioni non si preoccupano della qualità dei dati (DQ), possono giocare un brutto scherzo su di loro. La gestione dei problemi causati da dati errati può costare a un'azienda dal 15% al ​​25% delle sue entrate annuali. Per non parlare del fatto che la scarsa qualità dei dati ostacola gli sforzi di trasformazione digitale dell'organizzazione.

Un data warehouse non è un cestino. Dovrebbe contenere solo dati significativi che sono preziosi per la tua attività. Facendo una discarica dal tuo data warehouse, sprechi denaro per archiviare dati di peso morto che non puoi sfruttare per aumentare la tua attività.

Come trasformare questa perdita in un profitto e sfruttare la qualità dei dati come vantaggio competitivo che rimodellerà la tua posizione tra i rivali? Abbiamo elencato i problemi comuni che potresti incontrare durante la gestione dei dati e delineato i modi per migliorare la qualità dei dati.

Sei possibili problemi che potresti incontrare nel tuo percorso per migliorare la qualità dei dati

I dati hanno caratteristiche qualitative particolari: completezza, validità, unicità, coerenza, tempestività e accuratezza. Ci sono una serie di problemi ad essi collegati. Un cattivo DQ risulta in:

• Silos di dati . Secondo McKinsey, più data lake e warehouse senza un modello di dati comune sono una delle principali sfide a livello aziendale. Anche se si dispone di un solo magazzino, l'esecuzione di un'analisi diventa problematica quando i dati sono sparsi su più sistemi aziendali.
• Errori umani . Quando i clienti oi dipendenti commettono errori di battitura come scrivere "Minesota" invece di "Minnesota" quando inseriscono le informazioni manualmente, si ottengono dati che non rappresentano la realtà.
• Dati duplicati . Quando un dipendente inserisce i dati dei clienti nel tuo CRM e un altro registra gli stessi dati dei clienti in un altro sistema, ti ritroverai con dei duplicati. Se non sono completamente identici, allora c'è un problema: quale è affidabile?
• Dati non validi . L'analisi non ha senso se si ottengono dati qualsiasi invece dei dati necessari. Un esempio di questo errore è quando il campo del nome viene riempito con i cognomi. Immagina di avere un intero tavolo di Smiths quando devi determinare quale dei tuoi clienti abituali merita uno sconto personale.
• Valori mancanti . I dati mancanti sono inaccettabili per le procedure statistiche. Se alcuni campi obbligatori non vengono compilati, non puoi analizzare i dati e agire. Ad esempio, se stai raccogliendo dati sull'età e sul sesso dei tuoi acquirenti in un sondaggio sulla soddisfazione dei clienti, alcuni di loro potrebbero non rivelare il loro genere se vengono offerte solo le opzioni "femmina" e "maschile". Questo può essere correlato ai giovani che si identificano come non binari, queer, ecc.
• Formati di dati incoerenti . Potresti sentirti come se stessi attraversando un inferno quando devi gestire le date inserite negli stili europei e statunitensi.

Dati di alta qualità semplificano la governance dei dati. E se puoi gestire i dati con sicurezza, puoi gestire con sicurezza l'intera azienda. Ecco perché aumentare il DQ è una delle massime priorità per i prossimi 6-12 mesi per il 91% delle organizzazioni. Se sei ancora indeciso su quanto presto dovresti iniziare a correggere il tuo DQ, questo è il tuo segno per non rimandare a domani.

Come mitigare i problemi di qualità dei dati: adottare tecnologie all'avanguardia

Prima di rispondere alla domanda su come migliorare la qualità dei dati, è necessario prima capire come migliorare la gestione dei dati. Focalizza la tua attenzione e il tuo budget sull'adozione di nuove tecnologie. Ci sono almeno due possibilità per facilitare il tuo percorso di miglioramento della qualità dei dati:

• Approfitta dell'automazione per eliminare gli errori umani . Ad esempio, l'adozione dell'automazione dei processi robotici (RPA) libera i dipendenti da operazioni monotone e ripetitive, cancella la possibilità di errore umano e riduce il costo dell'elaborazione dei dati fino all'80%. Ad esempio, con RPA, puoi facilmente convertire tutte le date in un formato, verificare l'assenza o la presenza dei dati, la loro attualità, ecc., poiché tutte queste azioni possono essere ridotte a un chiaro algoritmo eseguito da un bot. Inoltre, in settori altamente regolamentati come quello sanitario, l'automazione migliora la conformità a numerosi protocolli (HIPAA, PSQIA, GDPR, ecc.) e, quindi, aiuta a creare una migliore esperienza del paziente.
• Sfrutta la Business Intelligence (BI) per avere una visione completa della qualità dei tuoi dati . Devi valutare regolarmente i tuoi dati per assicurarti che le informazioni siano ancora affidabili.

La cooperazione con analisti BI esperti è fondamentale. Ti aiutano a capire a quali domande devi rispondere, a quale storia vuoi raccontare con i tuoi dati e a creare una dashboard personalizzata basata su tali informazioni.

— Ivan Dubouski, responsabile del team di business intelligence, *instinctools

Un dashboard generico può mostrare la misura in cui i dati soddisfano i requisiti di qualità dei dati. Secondo Gartner, il monitoraggio delle metriche sulla qualità dei dati aiuta a migliorarle del 60%.

Puoi anche fornire ai tuoi data scientist e ingegneri dashboard più dettagliati che visualizzano le storie dei problemi alla base dei principali problemi di qualità dei dati.

Utilizza i servizi di consulenza BI per decidere da dove iniziare il tuo percorso di miglioramento della qualità dei dati e identificare le tecnologie appropriate per aiutarti lungo il percorso.

Come sviluppare una solida strategia di miglioramento della qualità dei dati

Iniziative una tantum e azioni ad hoc trattano i sintomi, non la malattia. Hai bisogno di aggiustamenti strategici a lungo termine per potenziare il tuo personale con analisi avanzate a tutti i livelli dell'organizzazione. Ecco perché, prima di lanciarsi in un'iniziativa DQ, creare una strategia di qualità dei dati (DQS). Ne abbiamo elencati sei elementi vitali.

1. Fai un inventario dei tuoi dati e descrivi i problemi

È essenziale sviluppare una visione comune della qualità dei dati per i dipendenti di diversi reparti. Per ottenerlo, rispondi a domande di base come: quanti dati hai? Quali tipi di dati raccogliete e archiviate? Quanti errori ci sono nei dati? Che tipo di errori sono questi?

2. Sviluppa i tuoi requisiti e obiettivi

In questa fase, dovresti identificare le parti interessate del futuro processo di miglioramento della qualità dei dati. Più esperti sono in grado di valutare i dati da diverse prospettive, più accuratamente puoi definire i requisiti e le aspirazioni DQ per la tua organizzazione e le modalità per migliorare la qualità dei dati.

È possibile che la tua azienda abbia bisogno di un dipendente dedicato che valuti la qualità dei dati in base a parametri chiave: un data steward. Sono responsabili dei dati che conservi nella tua organizzazione, applicano le regole interne su come i dati possono essere utilizzati e tengono traccia del movimento dei dati all'interno dell'azienda. La missione di un data steward è coordinare tutti i processi e le decisioni che derivano dal tuo DQS.

Non dimenticare di impostare una sequenza temporale approssimativa per l'implementazione di un piano di miglioramento della qualità dei dati poiché dipende dalla scala della tua organizzazione.

3. Stabilire le priorità per diversi set di dati

Lavorare sulla qualità dei dati dei clienti e dei dati interni dell'azienda contemporaneamente è fantastico. Ma se il tuo budget è limitato, devi scegliere il miglioramento di quali dati è la priorità per il successo e la crescita del tuo business. Migliorando la qualità dei dati relativi alle informazioni personali dei clienti, puoi personalizzare la loro esperienza e aumentare la soddisfazione del cliente. Tuttavia, il rinnovamento dei dati interni dell'organizzazione può portarti altrettanto vantaggio. Avendo dati di alta qualità sul tuo personale, puoi rivelare appieno il potenziale e i talenti dei tuoi dipendenti e scoprire come ottimizzare i processi all'interno di un'azienda.

4. Selezionare tecnologie e strumenti per migliorare la qualità dei dati

Dato l'enorme numero di offerte sul mercato, risulta essere dispendioso in termini di tempo e difficile confrontare le loro funzionalità, costi di licenza, opzioni di pagamento, ecc. Considera che se sei gravato da software obsoleto, il compito diventa più complicato man mano che potrebbe essere necessario modernizzarlo.

L'adozione di nuove tecnologie e strumenti potrebbe richiedere più conoscenze approfondite di quanto inizialmente previsto, quindi scegli partner tecnologici esperti nella gestione dei problemi relativi ai dati.

5. Identificare i ruoli e le responsabilità degli stakeholder

A questo punto, stabilisci i compiti assegnati a un data steward, un ingegnere dei dati, un analista aziendale, dirigenti, ecc. Affinché la barca della tua strategia di miglioramento della qualità dei dati navighi senza intoppi, hai bisogno di molte mani che remano nella stessa direzione. Un data steward può tenere traccia degli standard di qualità dei dati in tutta l'organizzazione e in progetti particolari, gli analisti aziendali danno la priorità alle attività dal punto di vista dei vantaggi aziendali e i membri della C-suite prendono le decisioni finali sulle azioni da intraprendere.

6. Impostare i KPI per valutare l'avanzamento

Quale grado di qualità dei dati vuoi raggiungere in sei mesi, in un anno? Quanto tempo possono impiegare i tuoi dipendenti per correggere errori di diverso tipo? In che misura pensi di ridurli? Un analista aziendale esperto può aiutarti a determinare i KPI realistici per la tua organizzazione.

Trascorso il periodo di tempo che hai designato come benchmark, analizza i risultati raggiunti, rivedi la tua strategia di miglioramento della qualità dei dati e modificala se necessario.

La bozza del tuo piano di miglioramento della qualità dei dati potrebbe assomigliare a questa.

Pulisci la strada per un'analisi dei dati accurata e approfondimenti autentici

La qualità dei dati che elabori determina quanto saranno preziosi gli insight. In qualche modo, senza analisi avanzate, un'organizzazione è privata di un futuro, almeno uno, luminoso e prospero.

È possibile risolvere parzialmente e temporaneamente i problemi di masterizzazione della qualità dei dati adottando le moderne tecnologie. Ma è come spegnere un incendio in una stanza quando un intero edificio viene avvolto dalle fiamme. La creazione di un piano di miglioramento della qualità dei dati è un modo infallibile per individuare cosa fare con i dati per migliorarne la qualità, come farlo, chi è responsabile del processo e tenere traccia dei progressi per analizzare quando è possibile ottenere un risultato atteso.

L'articolo è stato originariamente pubblicato qui.