当数据变坏时：如何提高数据质量？

数据质量与决策之间的相关性是显而易见的。 垃圾进，垃圾出，还记得吗？ 当组织不关心数据质量 (DQ) 时，它可以对他们施展残酷的伎俩。 处理由不良数据引起的问题可能会使公司损失其年收入的 15% 到 25%。 更不用说糟糕的数据质量阻碍了组织的数字化转型工作。

数据仓库不是垃圾桶。 它应该只包含对您的业务有价值的有意义的数据。 从您的数据仓库中转储，您将金钱浪费在存储无法利用来促进业务发展的自重数据上。

如何将这种损失转化为利润，并利用数据质量作为竞争优势，从而重塑您在竞争对手中的地位？ 我们列出了您在处理数据时可能面临的常见问题，并概述了提高数据质量的方法。

在提高数据质量的过程中可能面临的六个问题

数据具有特定的质量特征——完整性、有效性、唯一性、一致性、及时性和准确性。 有许多与它们相关的问题。 不良 DQ 会导致：

• 数据孤岛。 根据麦肯锡的说法，没有通用数据模型的多个数据湖和仓库是企业级面临的最大挑战之一。 即使您只有一个仓库，当您的数据分散在多个企业系统中时，运行分析也会变得很麻烦。
• 人为错误。 如果客户或员工在手动输入信息时出现拼写错误，例如写“Minesota”而不是“Minnesota”，您将获得不代表现实的数据。
• 重复数据。 当一名员工将客户数据输入到您的 CRM 中，而另一名员工将相同的客户数据记录到另一个系统中时，您最终会得到重复。 如果它们不完全相同，那么就有一个问题：哪个可靠？
• 无效数据。 如果您只获得任何数据而不是您需要的数据，那么分析就没有意义。 此错误的一个示例是名称字段中填充了姓氏。 想象一下，当您需要确定哪些常客值得个人折扣时，您拥有一整桌 Smiths。
• 缺失值。 缺失数据对于统计程序是不可接受的。 如果某些必填字段未填写，您将无法分析数据并采取行动。 例如，如果您在客户满意度调查中收集有关买家年龄和性别的数据，如果只提供“女性”和“男性”选项，他们中的一些人可能不会透露他们的性别。 这可能与年轻人认为自己是非二元的、酷儿等有关。
• 不一致的数据格式。 当您不得不处理以欧洲和美国风格输入的日期时，您可能会觉得自己正在经历地狱。

高质量的数据使数据治理更容易。 如果你能自信地管理数据，你就能自信地管理整个公司。 这就是为什么提高 DQ 是 91% 组织未来 6-12 个月的首要任务之一。 如果您仍然不确定应该多久开始修复您的 DQ，这是您不要推迟到明天的标志。

如何缓解数据质量问题：采用最先进的技术

在回答如何提高数据质量的问题之前，您需要先弄清楚如何改进数据管理。 将您的注意力和预算集中在采用新技术上。 至少有两种可能性可以促进您的数据质量提升之旅：

• 利用自动化来消除人为错误。 例如，采用机器人流程自动化 (RPA) 可以将您的员工从单调、重复的操作中解放出来，消除人为错误的可能性，并将处理数据的成本降低多达 80%。 例如，使用 RPA，您可以轻松地将所有日期转换为一种格式，验证数据的缺失或存在、数据的真实性等，因为所有这些操作都可以简化为由机器人执行的清晰算法。 此外，在医疗保健等高度监管的行业中，自动化提高了对众多协议（HIPAA、PSQIA、GDPR 等）的合规性，从而有助于创造更好的患者体验。
• 利用商业智能(BI) 全面了解您的数据质量。 您必须定期评估您的数据，以确保信息仍然可靠。

与经验丰富的 BI 分析师合作是关键。 它们可帮助您确定需要回答的问题、想要用数据讲述的故事，并根据该信息创建自定义仪表板。

— Ivan Dubouski，商业智能团队负责人，*instinctools

通用仪表板可以显示数据满足数据质量要求的程度。 据 Gartner 称，跟踪数据质量指标有助于将它们提高 60%。

您还可以为您的数据科学家和工程师提供更精细的仪表板，以可视化主要数据质量问题背后的问题故事。

使用 BI 咨询服务来决定从哪里开始您的数据质量改进之旅，并确定合适的技术来帮助您一路走来。

如何制定稳健的数据质量改进策略

一次性举措和临时行动治疗的是症状，而不是疾病。 您需要进行长期的战略调整，以使您的员工能够在所有组织级别上进行高级分析。 这就是为什么在加入 DQ 计划之前创建数据质量策略 (DQS)。 我们列出了它的六个重要元素。

1. 清点您的数据并描述问题

为来自不同部门的员工制定数据质量的共同愿景至关重要。 要实现它，请回答以下基本问题：您有多少数据？ 您收集和存储哪些类型的数据？ 数据中有多少错误？ 这些是什么类型的错误？

2. 制定您的要求和目标

在这个阶段，您应该确定未来数据质量改进过程的利益相关者。 能够从不同角度评估数据的专家越多，您就越能准确地定义组织的 DQ 要求和愿望以及提高数据质量的方法。

事实证明，您的公司可能需要一名专门的员工来根据关键参数评估数据的质量——数据管理员。 他们负责您在组织中保留哪些数据，执行有关如何使用数据的内部规则，并跟踪公司内部数据的移动。 数据管理员的任务是协调 DQS 产生的所有流程和决策。

不要忘记设置实施数据质量改进计划的大致时间表，因为这取决于您组织的规模。

3.为不同的数据集设置优先级

同时处理客户数据和公司内部数据的质量非常棒。 但是，如果您的预算有限，您需要选择改进哪些数据是您的业务成功和增长的优先事项。 通过提高与客户个人信息相关的数据质量，您可以个性化他们的体验并提高客户满意度。 但是，修改组织的内部数据可以为您带来同样多的好处。 拥有有关员工的高质量数据，您可以充分揭示员工的潜力和才能，并揭示如何优化公司内的流程。

4. 选择提高数据质量的技术和工具

鉴于市场上提供的产品数量之多，比较它们的功能、许可成本、支付选项等变得既费时又棘手。考虑一下，如果您背负着过时的软件，任务会变得更加复杂可能需要对其进行现代化改造。

采用新技术和工具可能需要比最初预期更多的由内而外的知识，因此请选择在处理数据问题方面经验丰富的技术合作伙伴。

5. 确定利益相关者的角色和责任

在这个阶段，您确定分配给数据管家、数据工程师、业务分析师、高管等的任务。要使您的数据质量改进战略的船顺利航行，您需要许多人朝着同一个方向划船。 数据管家可以跟踪整个组织和特定项目的数据质量标准，业务分析师从业务利益的角度对任务进行优先级排序，而最高管理层成员就应该采取哪些行动做出最终决定。

6.设置KPI来评估进度

您希望在六个月或一年内达到什么程度的数据质量？ 您的员工需要多长时间来纠正不同类型的错误？ 您希望在多大程度上减少它们？ 经验丰富的业务分析师可以帮助您确定组织的实际 KPI。

当您指定为基准的时间段过去后，分析取得的结果，审查您的数据质量改进策略，并在必要时对其进行修改。

您的数据质量改进计划草案可能如下所示。

为准确的数据分析和真正的见解扫清道路

您处理的数据的质量决定了这些见解的价值。 在某种程度上，如果没有高级分析，一个组织就会被剥夺一个未来，至少是一个光明和繁荣的未来。

您可以通过采用现代技术部分和暂时解决刻录数据质量问题。 但这就像在整个建筑物被火焰吞没时在一个房间里灭火。 创建数据质量改进计划是确定如何处理数据以提高其质量、如何执行、谁负责流程以及跟踪进度以分析何时可以实现预期结果的可靠方法。

这篇文章最初发表在这里。