Quand les données tournent mal : comment améliorer la qualité des données ?

La corrélation entre la qualité des données et la prise de décision est évidente. Garbage in, garbage out, tu te souviens ? Lorsque les organisations ne se soucient pas de la qualité des données (DQ), cela peut leur jouer un tour cruel. La gestion des problèmes causés par de mauvaises données peut coûter à une entreprise de 15 à 25 % de son chiffre d'affaires annuel. Sans oublier que la mauvaise qualité des données entrave les efforts de transformation numérique de l'organisation.

Un entrepôt de données n'est pas une poubelle. Il ne doit contenir que des données significatives qui sont précieuses pour votre entreprise. En faisant un vidage de votre entrepôt de données, vous gaspillez de l'argent en stockant des données de poids mort dont vous ne pouvez pas tirer parti pour dynamiser votre entreprise.

Comment transformer cette perte en profit et exploiter la qualité des données comme un avantage concurrentiel qui refaçonnera votre position parmi vos rivaux ? Nous avons répertorié les problèmes courants auxquels vous pouvez être confrontés lors du traitement des données et décrit les moyens d'améliorer la qualité des données.

Six problèmes possibles auxquels vous pourriez être confronté pour améliorer la qualité des données

Les données ont des caractéristiques de qualité particulières – exhaustivité, validité, unicité, cohérence, actualité et exactitude. Il y a un certain nombre de problèmes qui leur sont liés. Un mauvais DQ entraîne :

• Silos de données . Selon McKinsey, plusieurs lacs de données et entrepôts sans modèle de données commun sont l'un des principaux défis au niveau de l'entreprise. Même si vous ne disposez que d'un seul entrepôt, l'exécution d'une analyse devient problématique lorsque vos données sont dispersées sur plusieurs systèmes d'entreprise.
• Erreurs humaines . Lorsque des clients ou des employés font des fautes de frappe, comme écrire « Minesota » au lieu de « Minnesota » lors de la saisie manuelle d'informations, vous obtenez des données qui ne représentent pas la réalité.
• Données dupliquées . Lorsqu'un employé saisit des données client dans votre CRM et qu'un autre enregistre les mêmes données client dans un autre système, vous vous retrouvez avec des doublons. S'ils ne sont pas complètement identiques, alors il y a un problème : lequel est fiable ?
• Données invalides . L'analyse n'a pas de sens si vous obtenez n'importe quelles données au lieu des données dont vous avez besoin. Un exemple de cette erreur est lorsque le champ du nom est rempli de noms de famille. Imaginez-vous avoir toute une table de Smiths lorsque vous devez déterminer lequel de vos habitués mérite une remise personnelle.
• Valeurs manquantes . Les données manquantes sont inacceptables pour les procédures statistiques. Si certains champs obligatoires ne sont pas remplis, vous ne pouvez pas analyser les données et agir. Par exemple, si vous collectez des données sur l'âge et le sexe de vos acheteurs dans une enquête de satisfaction client, certains d'entre eux pourraient ne pas révéler leur sexe si seules les options "femme" et "homme" sont proposées. Cela peut être lié au fait que les jeunes s'identifient comme non binaires, queer, etc.
• Formats de données incohérents . Vous pouvez avoir l'impression de traverser l'enfer lorsque vous devez gérer des dates saisies dans des styles européens et américains.

Des données de haute qualité facilitent la gouvernance des données. Et si vous pouvez gérer les données en toute confiance, vous pouvez gérer en toute confiance l'ensemble de l'entreprise. C'est pourquoi l'augmentation du QD est l'une des principales priorités pour les 6 à 12 prochains mois pour 91 % des organisations. Si vous n'êtes toujours pas sûr de la date à laquelle vous devriez commencer à réparer votre DQ, c'est votre signe de ne pas le remettre à demain.

Comment atténuer les problèmes de qualité des données : adopter les technologies de pointe

Avant de répondre à la question de savoir comment améliorer la qualité des données, vous devez d'abord déterminer comment améliorer la gestion des données. Concentrez votre attention et votre budget sur l'adoption de nouvelles technologies. Il existe au moins deux possibilités pour faciliter votre parcours d'amélioration de la qualité des données :

• Profitez de l'automatisation pour éliminer les erreurs humaines . Par exemple, l'adoption de l'automatisation robotique des processus (RPA) libère vos employés des opérations monotones et répétitives, efface la possibilité d'erreur humaine et réduit le coût de traitement des données jusqu'à 80 %. Par exemple, avec RPA, vous pouvez facilement convertir toutes les dates en un seul format, vérifier l'absence ou la présence des données, leur actualité, etc., car toutes ces actions peuvent être réduites à un algorithme clair effectué par un bot. En outre, dans les secteurs hautement réglementés tels que les soins de santé, l'automatisation améliore la conformité à de nombreux protocoles (HIPAA, PSQIA, GDPR, etc.) et contribue ainsi à créer une meilleure expérience patient.
• Tirez parti de la Business Intelligence (BI) pour avoir une vue complète de la qualité de vos données . Vous devez évaluer régulièrement vos données pour vous assurer que les informations sont toujours fiables.

La coopération avec des analystes BI expérimentés est essentielle. Ils vous aident à déterminer les questions auxquelles vous devez répondre, l'histoire que vous souhaitez raconter avec vos données et à créer un tableau de bord personnalisé basé sur ces informations.

— Ivan Dubouski, chef d'équipe en intelligence d'affaires, *instinctools

Un tableau de bord générique peut montrer dans quelle mesure les données répondent aux exigences de qualité des données. Selon Gartner, le suivi des métriques de qualité des données permet de les améliorer de 60 %.

Vous pouvez également fournir à vos data scientists et ingénieurs des tableaux de bord plus granulaires qui visualisent les histoires de problèmes sous-jacents aux principaux problèmes de qualité des données.

Utilisez les services de conseil BI pour décider par où commencer votre parcours d'amélioration de la qualité des données et identifier les technologies appropriées pour vous aider tout au long du processus.

Comment développer une stratégie robuste d'amélioration de la qualité des données

Les initiatives ponctuelles et les actions ponctuelles traitent les symptômes, pas la maladie. Vous avez besoin d'ajustements stratégiques à long terme pour doter votre personnel d'analyses avancées à tous les niveaux de l'organisation. C'est pourquoi, avant de vous lancer dans une initiative DQ, créez une stratégie de qualité des données (DQS). Nous en avons énuméré six éléments essentiels.

1. Faites un inventaire de vos données et décrivez les enjeux

Développer une vision commune de la qualité des données pour les collaborateurs des différents services est essentiel. Pour y parvenir, répondez à des questions basiques telles que : Combien de données avez-vous ? Quels types de données collectez-vous et stockez-vous ? Combien y a-t-il d'erreurs dans les données ? De quel genre d'erreurs s'agit-il ?

2. Développez vos besoins et vos objectifs

À ce stade, vous devez identifier les parties prenantes du futur processus d'amélioration de la qualité des données. Plus il y a d'experts capables d'évaluer les données sous différents angles, plus vous pouvez définir avec précision les exigences et les aspirations DQ de votre organisation et les moyens d'améliorer la qualité des données.

Il se peut que votre entreprise ait besoin d'un employé dédié qui évaluera la qualité des données en fonction de paramètres clés - un gestionnaire de données. Ils sont responsables des données que vous conservez dans votre organisation, appliquent les règles internes sur la façon dont les données peuvent être utilisées et suivent le mouvement des données au sein de l'entreprise. Un data steward a pour mission de coordonner l'ensemble des processus et décisions qui découlent de votre DQS.

N'oubliez pas de définir un calendrier approximatif pour la mise en œuvre d'un plan d'amélioration de la qualité des données, car cela dépend de la taille de votre organisation.

3. Définir des priorités pour différents ensembles de données

Travailler simultanément sur la qualité des données clients et des données internes de l'entreprise, c'est formidable. Mais si votre budget est limité, vous devez choisir l'amélioration des données qui est la priorité pour le succès et la croissance de votre entreprise. En améliorant la qualité des données liées aux informations personnelles des clients, vous pouvez personnaliser leur expérience et augmenter la satisfaction client. Cependant, la refonte des données internes de l'organisation peut vous apporter tout autant d'avantages. Disposant de données de haute qualité sur votre personnel, vous pouvez pleinement révéler le potentiel et les talents de vos employés et découvrir comment optimiser les processus au sein d'une entreprise.

4. Sélectionner des technologies et des outils pour améliorer la qualité des données

Compte tenu du grand nombre d'offres sur le marché, il s'avère fastidieux et délicat de comparer leurs fonctionnalités, leurs coûts de licence, leurs options de paiement, etc. peut-être besoin de le moderniser.

L'adoption de nouvelles technologies et de nouveaux outils peut nécessiter plus de connaissances approfondies que prévu initialement, alors choisissez des partenaires technologiques qui sont habitués à gérer les problèmes de données.

5. Identifier les rôles et responsabilités des parties prenantes

A ce stade, vous fixez les tâches assignées à un data steward, un data engineer, un business analyst, des cadres, etc. Pour que le bateau de votre stratégie d'amélioration de la qualité des données navigue en douceur, vous avez besoin de plusieurs mains pour ramer dans le même sens. Un responsable des données peut suivre les normes de qualité des données dans l'ensemble de l'organisation et dans des projets particuliers, les analystes commerciaux hiérarchisent les tâches du point de vue des avantages commerciaux et les membres de la suite C prennent les décisions finales sur les actions à entreprendre.

6. Définissez des KPI pour évaluer les progrès

Quel degré de qualité des données souhaitez-vous atteindre en six mois, en un an ? Combien de temps cela peut-il prendre à vos employés pour corriger les erreurs de différents types ? Dans quelle mesure pensez-vous les réduire ? Un analyste commercial expérimenté peut vous aider à déterminer les KPI réalistes pour votre organisation.

Une fois la période que vous avez désignée comme point de référence écoulée, analysez les résultats obtenus, examinez votre stratégie d'amélioration de la qualité des données et modifiez-la si nécessaire.

L'ébauche de votre plan d'amélioration de la qualité des données peut ressembler à ceci.

Nettoyer la voie pour une analyse précise des données et des informations authentiques

La qualité des données que vous traitez détermine la valeur des informations. D'une certaine manière, sans analyses avancées, une organisation est privée d'un avenir, au moins un, brillant et prospère.

Vous pouvez résoudre partiellement et temporairement les problèmes brûlants de qualité des données en adoptant des technologies modernes. Mais c'est comme éteindre un feu dans une pièce alors qu'un bâtiment entier est englouti par les flammes. La création d'un plan d'amélioration de la qualité des données est un moyen infaillible de déterminer quoi faire de vos données pour améliorer leur qualité, comment le faire, qui est en charge du processus et suivre les progrès pour analyser quand vous pouvez atteindre un résultat attendu.

L'article a été initialement publié ici.