データが悪くなったとき: データ品質を改善するには?

公開: 2022-08-01

データ品質と意思決定の相関関係は明らかです。ガベージイン、ガベージアウト、覚えていますか？組織がデータ品質 (DQ) を気にしない場合、それは彼らにとって残酷なトリックになる可能性があります。不良データによる問題の処理は、企業の年間収益の 15% から 25% の損失につながる可能性があります。言うまでもなく、データの品質が低いと、組織のデジタルトランスフォーメーションの取り組みが妨げられます。

データウェアハウスはゴミ箱ではありません。ビジネスにとって価値のある意味のあるデータのみを含める必要があります。データウェアハウスからダンプを作成すると、ビジネスを促進するために利用できない自重データの保存にお金が浪費されます。

この損失を利益に変え、データ品質を競争上の優位性として活用して、ライバル間の地位を再構築するにはどうすればよいでしょうか? データを扱う際に直面する可能性のある一般的な問題をリストし、データ品質を改善する方法を概説しました。

データ品質を改善する過程で直面する可能性のある 6 つの問題

データには、完全性、有効性、一意性、一貫性、適時性、正確性など、特定の品質特性があります。それらに関連する多くの問題があります。悪い DQ の結果:

データサイロ。 McKinsey によると、共通のデータモデルを持たない複数のデータレイクとウェアハウスは、エンタープライズレベルでの最大の課題の 1 つです。倉庫が 1 つしかない場合でも、データが複数のエンタープライズシステムに分散していると、分析を実行するのが面倒になります。
ヒューマンエラー。顧客や従業員が情報を手動で入力するときに「ミネソタ」ではなく「ミネソタ」と書くなどのタイプミスをすると、現実を表していないデータが得られます。
重複データ。ある従業員が顧客データを CRM に入力し、別の従業員が同じ顧客データを別のシステムに記録すると、重複が発生します。それらが完全に同一でない場合、問題があります。どちらが信頼できるでしょうか?
データが無効です。必要なデータではなく、任意のデータしか得られない場合、分析は意味がありません。このエラーの例は、名前フィールドに姓が入力されている場合です。常連客のどれが個人的な割引に値するかを判断する必要があるときに、Smiths のテーブル全体を持っていると想像してください。
値がありません。欠損データは、統計手順では受け入れられません。一部の必須フィールドが入力されていない場合、データを分析してアクションを実行することはできません。たとえば、顧客満足度調査で購入者の年齢と性別に関するデータを収集している場合、「女性」と「男性」の選択肢しか提供されていない場合、一部の購入者は性別を明らかにしない可能性があります。これは、自分自身をノンバイナリー、クィアなどと認識している若者に関連している可能性があります。
一貫性のないデータ形式。ヨーロッパやアメリカのスタイルで入力された日付を処理しなければならないとき、あなたは地獄を経験しているように感じるかもしれません.

高品質のデータにより、データガバナンスが容易になります。また、自信を持ってデータを管理できれば、会社全体を自信を持って管理できます。そのため、91% の組織にとって、今後 6 ～ 12 か月間の最優先事項の 1 つが DQ の引き上げです。 DQ の修正をいつ開始するかまだ決めていない場合、これは明日まで延期しないというサインです。

データ品質の問題を軽減する方法: 最先端のテクノロジーを採用する

データ品質を改善する方法の質問に答える前に、まずデータ管理を改善する方法を理解する必要があります。新しいテクノロジーの採用に注意と予算を集中させてください。データ品質向上の旅を促進するには、少なくとも 2 つの可能性があります。

自動化を活用して人的エラーを排除します。たとえば、ロボティックプロセスオートメーション (RPA) を採用すると、従業員は単調で反復的な操作から解放され、人的エラーの可能性がなくなり、データ処理のコストが最大 80% 削減されます。たとえば、RPA を使用すると、すべての日付を 1 つの形式に簡単に変換したり、データの有無や実際のデータなどを検証したりできます。これらのアクションはすべて、ボットによって実行される明確なアルゴリズムに還元できるからです。さらに、ヘルスケアなどの規制の厳しい業界では、自動化によって多数のプロトコル (HIPAA、PSQIA、GDPR など) への準拠が改善され、患者のエクスペリエンスが向上します。
ビジネスインテリジェンス(BI) を活用して、データの品質を包括的に把握します。情報の信頼性を維持するために、データを定期的に評価する必要があります。

経験豊富な BI アナリストとの協力が重要です。 どの質問に答える必要があるか、データでどのようなストーリーを伝えたいかを理解し、その情報に基づいてカスタムダッシュボードを作成するのに役立ちます。

— Ivan Dubouski 氏、ビジネスインテリジェンスチームリーダー、*instinctools

汎用ダッシュボードは、データがデータ品質要件をどの程度満たしているかを示すことができます。 Gartner によると、データ品質メトリクスを追跡することで、メトリクスを 60% 向上させることができます。

また、主要なデータ品質の問題の根底にある問題のストーリーを視覚化する、より詳細なダッシュボードをデータサイエンティストとエンジニアに提供することもできます。

BI コンサルティングサービスを使用して、データ品質改善の旅をどこから開始するかを決定し、途中で役立つ適切なテクノロジを特定します。

堅牢なデータ品質改善戦略を策定する方法

1 回限りのイニシアチブとアドホックなアクションは、病気ではなく症状を治療します。すべての組織レベルで高度な分析を使用してスタッフを強化するには、長期的な戦略的調整が必要です。そのため、DQ イニシアチブに入る前に、データ品質戦略 (DQS) を作成します。その6つの重要な要素をリストしました.

1. データのインベントリを作成し、問題を説明する

さまざまな部門の従業員がデータ品質に関する共通のビジョンを策定することが不可欠です。それを達成するには、次のような基本的な質問に答えてください。どのくらいのデータがありますか? どのような種類のデータを収集して保存しますか? データにはいくつのエラーがありますか? これらはどのようなエラーですか?

2. 要件と目的を策定する

この段階で、将来のデータ品質改善プロセスの利害関係者を特定する必要があります。さまざまな観点からデータを評価できる専門家が多ければ多いほど、組織の DQ 要件と願望、およびデータ品質を改善する方法をより正確に定義できます。

あなたの会社には、主要なパラメーターに従ってデータの品質を評価する専任の従業員、つまりデータスチュワードが必要であることが判明する場合があります。彼らは、組織内で保持するデータに責任を負い、データの使用方法に関する内部規則を施行し、社内でのデータの動きを追跡します。データスチュワードの使命は、DQS から生じるすべてのプロセスと決定を調整することです。

組織の規模によって異なるため、データ品質改善計画を実施するためのおおよそのタイムラインを設定することを忘れないでください。

3. 異なるデータセットに優先順位を設定する

顧客データと社内データの品質に同時に取り組むことは素晴らしいことです。しかし、予算が限られている場合は、ビジネスの成功と成長にとって優先されるデータの改善を選択する必要があります。顧客の個人情報に関連するデータの品質を向上させることで、エクスペリエンスをパーソナライズし、顧客満足度を高めることができます。ただし、組織の内部データを刷新することで、同様に多くのメリットが得られます。スタッフに関する高品質のデータがあれば、従業員の可能性と才能を完全に明らかにし、社内のプロセスを最適化する方法を明らかにすることができます。

4. データ品質を向上させるテクノロジーとツールを選択する

市場に出回っている膨大な数の製品を考えると、それらの機能、ライセンスコスト、支払いオプションなどを比較するのは時間がかかり、難しいことがわかります。それを近代化する必要があるかもしれません。

新しいテクノロジーやツールを採用するには、当初の予想よりも多くの知識が必要になる可能性があるため、データの問題を処理する経験豊富な技術パートナーを選択してください。

5. 利害関係者の役割と責任を特定する

この段階で、データスチュワード、データエンジニア、ビジネスアナリスト、エグゼクティブなどに割り当てるタスクを決定します。データ品質改善戦略の船をスムーズに航海させるには、多くの人が同じ方向に漕ぎ出す必要があります。データスチュワードは、組織全体および特定のプロジェクトのデータ品質基準を追跡できます。ビジネスアナリストは、ビジネス上のメリットの観点からタスクに優先順位を付け、C スイートメンバーは、実行すべきアクションについて最終決定を下します。

6. KPI を設定して進捗を評価する

半年、1 年でどの程度のデータ品質を達成したいですか? 従業員がさまざまな種類のエラーを修正するのにどれくらいの時間がかかりますか? それらをどの程度削減できると思いますか？経験豊富なビジネスアナリストは、組織の現実的な KPI を決定するのに役立ちます。

ベンチマークとして指定した期間が経過したら、達成された結果を分析し、データ品質改善戦略を見直し、必要に応じて修正します。

データ品質改善計画のドラフトは次のようになります。

正確なデータ分析と真の洞察への道を整える

処理するデータの品質によって、洞察の価値が決まります。何らかの形で、高度な分析がなければ、組織は少なくとも 1 つの明るく豊かな未来を奪われてしまいます。

最新のテクノロジーを採用することで、書き込みデータの品質の問題を部分的かつ一時的に解決できます。しかし、建物全体が炎に包まれているとき、それは 1 つの部屋で火を消しているようなものです。データ品質改善計画を作成することは、データの品質を向上させるためにデータをどうするか、その方法、プロセスの責任者を特定し、進捗状況を追跡していつ期待される結果を達成できるかを分析するための確実な方法です。

記事はもともとここで公開されました。