當數據變壞時：如何提高數據質量？

數據質量與決策之間的相關性是顯而易見的。 垃圾進，垃圾出，還記得嗎？ 當組織不關心數據質量 (DQ) 時，它可以對他們施展殘酷的伎倆。 處理由不良數據引起的問題可能會使公司損失其年收入的 15% 到 25%。 更不用說糟糕的數據質量阻礙了組織的數字化轉型工作。

數據倉庫不是垃圾桶。 它應該只包含對您的業務有價值的有意義的數據。 從您的數據倉庫中轉儲，您將金錢浪費在存儲無法利用來促進業務發展的自重數據上。

如何將這種損失轉化為利潤，並利用數據質量作為競爭優勢，從而重塑您在競爭對手中的地位？ 我們列出了您在處理數據時可能面臨的常見問題，並概述了提高數據質量的方法。

在提高數據質量的過程中可能面臨的六個問題

數據具有特定的質量特徵——完整性、有效性、唯一性、一致性、及時性和準確性。 有許多與它們相關的問題。 不良 DQ 會導致：

• 數據孤島。 根據麥肯錫的說法，沒有通用數據模型的多個數據湖和倉庫是企業級面臨的最大挑戰之一。 即使您只有一個倉庫，當您的數據分散在多個企業系統中時，運行分析也會變得很麻煩。
• 人為錯誤。 如果客戶或員工在手動輸入信息時出現拼寫錯誤，例如寫“Minesota”而不是“Minnesota”，您將獲得不代表現實的數據。
• 重複數據。 當一名員工將客戶數據輸入到您的 CRM 中，而另一名員工將相同的客戶數據記錄到另一個系統中時，您最終會得到重複。 如果它們不完全相同，那麼就有一個問題：哪個可靠？
• 無效數據。 如果您只獲得任何數據而不是您需要的數據，那麼分析就沒有意義。 此錯誤的一個示例是名稱字段中填充了姓氏。 想像一下，當您需要確定哪些常客值得個人折扣時，您擁有一整桌 Smiths。
• 缺失值。 缺失數據對於統計程序是不可接受的。 如果某些必填字段未填寫，您將無法分析數據並採取行動。 例如，如果您在客戶滿意度調查中收集有關買家年齡和性別的數據，如果只提供“女性”和“男性”選項，他們中的一些人可能不會透露他們的性別。 這可能與年輕人認為自己是非二元的、酷兒等有關。
• 不一致的數據格式。 當您不得不處理以歐洲和美國風格輸入的日期時，您可能會覺得自己正在經歷地獄。

高質量的數據使數據治理更容易。 如果你能自信地管理數據，你就能自信地管理整個公司。 這就是為什麼提高 DQ 是 91% 組織未來 6-12 個月的首要任務之一。 如果您仍然不確定應該多久開始修復您的 DQ，這是您不要推遲到明天的標誌。

如何緩解數據質量問題：採用最先進的技術

在回答如何提高數據質量的問題之前，您需要先弄清楚如何改進數據管理。 將您的注意力和預算集中在採用新技術上。 至少有兩種可能性可以促進您的數據質量提升之旅：

• 利用自動化來消除人為錯誤。 例如，採用機器人流程自動化 (RPA) 可以將您的員工從單調、重複的操作中解放出來，消除人為錯誤的可能性，並將處理數據的成本降低多達 80%。 例如，使用 RPA，您可以輕鬆地將所有日期轉換為一種格式，驗證數據是否存在、數據的真實性等，因為所有這些操作都可以簡化為由機器人執行的清晰算法。 此外，在醫療保健等高度監管的行業中，自動化提高了對眾多協議（HIPAA、PSQIA、GDPR 等）的合規性，從而有助於創造更好的患者體驗。
• 利用商業智能(BI) 全面了解您的數據質量。 您必須定期評估您的數據，以確保信息仍然可靠。

與經驗豐富的 BI 分析師合作是關鍵。 它們可幫助您確定需要回答的問題、想要用數據講述的故事，並根據該信息創建自定義儀表板。

— Ivan Dubouski，商業智能團隊負責人，*instinctools

通用儀表板可以顯示數據滿足數據質量要求的程度。 據 Gartner 稱，跟踪數據質量指標有助於將它們提高 60%。

您還可以為您的數據科學家和工程師提供更精細的儀表板，以可視化主要數據質量問題背後的問題故事。

使用 BI 諮詢服務來決定從哪裡開始您的數據質量改進之旅，並確定合適的技術來幫助您一路走來。

如何制定穩健的數據質量改進策略

一次性舉措和臨時行動治療的是症狀，而不是疾病。 您需要進行長期的戰略調整，以使您的員工能夠在所有組織級別上進行高級分析。 這就是為什麼在加入 DQ 計劃之前創建數據質量策略 (DQS)。 我們列出了它的六個重要元素。

1. 清點您的數據並描述問題

為來自不同部門的員工製定數據質量的共同願景至關重要。 要實現它，請回答以下基本問題：您有多少數據？ 您收集和存儲哪些類型的數據？ 數據中有多少錯誤？ 這些是什麼類型的錯誤？

2. 制定您的要求和目標

在這個階段，您應該確定未來數據質量改進過程的利益相關者。 能夠從不同角度評估數據的專家越多，您就越能準確地定義組織的 DQ 要求和願望以及提高數據質量的方法。

事實證明，您的公司可能需要一名專門的員工來根據關鍵參數評估數據的質量——數據管理員。 他們負責您在組織中保留哪些數據，執行有關如何使用數據的內部規則，並跟踪公司內部數據的移動。 數據管理員的任務是協調 DQS 產生的所有流程和決策。

不要忘記設置實施數據質量改進計劃的大致時間表，因為這取決於您組織的規模。

3.為不同的數據集設置優先級

同時處理客戶數據和公司內部數據的質量非常棒。 但是，如果您的預算有限，您需要選擇改進哪些數據是您的業務成功和增長的優先事項。 通過提高與客戶個人信息相關的數據質量，您可以個性化他們的體驗並提高客戶滿意度。 但是，修改組織的內部數據可以為您帶來同樣多的好處。 擁有有關員工的高質量數據，您可以充分揭示員工的潛力和才能，並揭示如何優化公司內的流程。

4. 選擇提高數據質量的技術和工具

鑑於市場上提供的產品數量之多，比較它們的功能、許可成本、支付選項等變得既費時又棘手。考慮一下，如果您背負著過時的軟件，任務會變得更加複雜可能需要對其進行現代化改造。

採用新技術和工具可能需要比最初預期更多的由內而外的知識，因此請選擇在處理數據問題方面經驗豐富的技術合作夥伴。

5. 確定利益相關者的角色和責任

在這個階段，您確定分配給數據管家、數據工程師、業務分析師、高管等的任務。要使您的數據質量改進戰略的船順利航行，您需要許多人朝著同一個方向划船。 數據管家可以跟踪整個組織和特定項目的數據質量標準，業務分析師從業務利益的角度對任務進行優先級排序，而最高管理層成員就應該採取哪些行動做出最終決定。

6.設置KPI來評估進度

您希望在六個月或一年內達到什麼程度的數據質量？ 您的員工需要多長時間來糾正不同類型的錯誤？ 您希望在多大程度上減少它們？ 經驗豐富的業務分析師可以幫助您確定組織的實際 KPI。

當您指定為基準的時間段過去後，分析取得的結果，審查您的數據質量改進策略，並在必要時對其進行修改。

您的數據質量改進計劃草案可能如下所示。

為準確的數據分析和真正的見解掃清道路

您處理的數據的質量決定了這些見解的價值。 在某種程度上，如果沒有高級分析，一個組織就會被剝奪一個未來，至少是一個光明和繁榮的未來。

您可以通過採用現代技術部分和暫時解決刻錄數據質量問題。 但這就像在整個建築物被火焰吞沒時在一個房間裡滅火。 創建數據質量改進計劃是確定如何處理數據以提高其質量、如何執行、誰負責流程以及跟踪進度以分析何時可以實現預期結果的可靠方法。

這篇文章最初發表在這裡。