Когда данные портятся: как улучшить качество данных?

Корреляция между качеством данных и принятием решений очевидна. Мусор на входе, мусор на выходе, помните? Когда организации не заботятся о качестве данных (DQ), это может сыграть с ними злую шутку. Решение проблем, вызванных неправильными данными, может стоить компании от 15% до 25% годового дохода. Не говоря уже о том, что низкое качество данных препятствует усилиям организации по цифровой трансформации.

Хранилище данных — это не мусорная корзина. Он должен содержать только значимые данные, представляющие ценность для вашего бизнеса. Делая дамп из своего хранилища данных, вы тратите деньги на хранение мертвым грузом данных, которые вы не можете использовать для развития своего бизнеса.

Как превратить эту потерю в прибыль и использовать качество данных как конкурентное преимущество, которое изменит вашу позицию среди конкурентов? Мы перечислили распространенные проблемы, с которыми вы можете столкнуться при работе с данными, и описали способы улучшения качества данных.

Шесть возможных проблем, с которыми вы можете столкнуться на пути к улучшению качества данных

Данные обладают особыми характеристиками качества – полнотой, достоверностью, уникальностью, непротиворечивостью, своевременностью и точностью. Есть ряд вопросов, связанных с ними. Плохой DQ приводит к:

• Хранилища данных . По мнению McKinsey, наличие нескольких озер и хранилищ данных без общей модели данных является одной из главных проблем на уровне предприятия. Даже если у вас есть только одно хранилище, выполнение анализа становится проблематичным, когда ваши данные разбросаны по нескольким корпоративным системам.
• Человеческие ошибки . Когда клиенты или сотрудники делают опечатки, например, пишут «Миннесота» вместо «Миннесота» при ручном вводе информации, вы получаете данные, не соответствующие действительности.
• Дублированные данные . Когда один сотрудник вводит данные о клиентах в вашу CRM, а другой записывает те же данные о клиентах в другую систему, вы получаете дубликаты. Если они не полностью идентичны, то возникает проблема: какой из них надежный?
• Неверные данные . Анализ не имеет смысла, если вместо нужных данных вы получаете любые данные. Пример этой ошибки — когда поле имени заполнено фамилиями. Представьте, что у вас есть целый стол Смитов, когда вам нужно определить, кто из ваших постоянных клиентов заслуживает персональной скидки.
• Отсутствующие значения . Отсутствие данных недопустимо для статистических процедур. Если какие-то обязательные поля не заполнены, вы не сможете проанализировать данные и принять меры. Например, если вы собираете данные о возрасте и поле ваших покупателей в опросе об удовлетворенности клиентов, некоторые из них могут не раскрыть свой пол, если предлагаются только «женские» и «мужские» варианты. Это может быть связано с тем, что молодые люди идентифицируют себя как небинарные, квирные и т. д.
• Несовместимые форматы данных . Вам может показаться, что вы проходите через ад, когда вам приходится обрабатывать даты, введенные в европейском и американском стилях.

Высококачественные данные упрощают управление данными. А если вы сможете уверенно управлять данными, вы сможете уверенно управлять всей компанией. Вот почему повышение DQ является одним из главных приоритетов на ближайшие 6-12 месяцев для 91% организаций. Если вы все еще не определились, как скоро вы должны начать исправлять свой DQ, это ваш знак не откладывать это на завтра.

Как смягчить проблемы с качеством данных: использовать самые современные технологии

Прежде чем ответить на вопрос о том, как улучшить качество данных, вам нужно сначала выяснить, как улучшить управление данными. Сосредоточьте свое внимание и бюджет на внедрении новых технологий. Есть по крайней мере две возможности облегчить ваше путешествие по повышению качества данных:

• Воспользуйтесь преимуществами автоматизации , чтобы исключить человеческие ошибки . Например, внедрение роботизированной автоматизации процессов (RPA) освобождает ваших сотрудников от монотонных повторяющихся операций, исключает возможность человеческой ошибки и снижает стоимость обработки данных до 80%. Например, с помощью RPA можно легко перевести все даты в один формат, проверить отсутствие или наличие данных, их актуальность и т. д., так как все эти действия можно свести к четкому алгоритму, выполняемому ботом. Кроме того, в строго регулируемых отраслях, таких как здравоохранение, автоматизация улучшает соответствие многочисленным протоколам (HIPAA, PSQIA, GDPR и т. д.) и, таким образом, помогает улучшить качество обслуживания пациентов.
• Используйте бизнес-аналитику (BI), чтобы иметь всестороннее представление о качестве ваших данных . Вы должны регулярно оценивать свои данные, чтобы убедиться, что информация по-прежнему надежна.

Сотрудничество с опытными BI-аналитиками имеет ключевое значение. Они помогут вам понять, на какие вопросы вам нужно ответить, какую историю вы хотите рассказать с помощью своих данных, и создать на основе этой информации настраиваемую панель мониторинга.

— Иван Дубовский, руководитель группы бизнес-аналитики, *instincttools

Общая информационная панель может показать, в какой степени данные соответствуют требованиям к качеству данных. По данным Gartner, отслеживание показателей качества данных помогает улучшить их на 60%.

Вы также можете предоставить своим специалистам по обработке и анализу данных и инженерам более детализированные информационные панели, которые визуализируют истории проблем, лежащих в основе основных проблем с качеством данных.

Используйте консультационные услуги бизнес-аналитики, чтобы решить, с чего начать процесс улучшения качества данных, и определить подходящие технологии, которые помогут вам на этом пути.

Как разработать надежную стратегию улучшения качества данных

Разовые инициативы и специальные действия лечат симптомы, а не болезнь. Вам нужны долгосрочные стратегические корректировки, чтобы предоставить вашим сотрудникам расширенную аналитику на всех уровнях организации. Вот почему, прежде чем приступать к инициативе DQ, разработайте стратегию качества данных (DQS). Мы перечислили шесть жизненно важных элементов.

1. Проведите инвентаризацию ваших данных и опишите проблемы

Важно разработать общее видение качества данных для сотрудников разных отделов. Для этого ответьте на основные вопросы, такие как: Сколько у вас данных? Какие типы данных вы собираете и храните? Сколько ошибок в данных? Что это за ошибки?

2. Разработайте свои требования и цели

На этом этапе вы должны определить заинтересованные стороны будущего процесса улучшения качества данных. Чем больше экспертов смогут оценить данные с разных точек зрения, тем точнее вы сможете определить требования к DQ и стремления вашей организации, а также способы улучшения качества данных.

Может оказаться, что вашей компании нужен выделенный сотрудник, который будет оценивать качество данных по ключевым параметрам — data steward. Они несут ответственность за то, какие данные вы храните в своей организации, обеспечивают соблюдение внутренних правил использования данных и отслеживают перемещение данных внутри компании. Миссия распорядителя данных — координировать все процессы и решения, возникающие в результате работы вашего DQS.

Не забудьте установить примерный график реализации плана улучшения качества данных, так как он зависит от масштаба вашей организации.

3. Установите приоритеты для разных наборов данных

Работать над качеством клиентских данных и внутренних данных компании одновременно — это здорово. Но если ваш бюджет ограничен, вам нужно выбрать, улучшение каких данных является приоритетом для успеха и роста вашего бизнеса. Повышая качество данных, связанных с личной информацией клиентов, вы можете персонализировать их опыт и повысить удовлетворенность клиентов. Однако обновление внутренних данных организации может принести вам не меньшую пользу. Имея качественные данные о своих сотрудниках, вы сможете в полной мере раскрыть потенциал и таланты ваших сотрудников и узнать, как оптимизировать процессы внутри компании.

4. Выберите технологии и инструменты для улучшения качества данных

Учитывая огромное количество предложений на рынке, сравнение их функций, стоимости лицензий, вариантов оплаты и т. д. может занять много времени и сложно. Учтите, что если вы обременены устаревшим программным обеспечением, задача усложняется по мере того, как вы возможно, потребуется его модернизация.

Внедрение новых технологий и инструментов может потребовать более глубоких знаний, чем предполагалось изначально, поэтому выбирайте технических партнеров, которые имеют большой опыт в решении проблем с данными.

5. Определите роли и обязанности заинтересованных сторон

На этом этапе вы определяете задачи, назначенные распорядителю данных, инженеру данных, бизнес-аналитику, руководителям и т. д. Чтобы лодка вашей стратегии улучшения качества данных плыла гладко, вам нужно, чтобы многие руки гребли в одном направлении. Управляющий данными может отслеживать стандарты качества данных в организации и в конкретных проектах, бизнес-аналитики расставляют приоритеты задач с точки зрения выгод для бизнеса, а члены высшего руководства принимают окончательные решения о том, какие действия следует предпринять.

6. Установите KPI для оценки прогресса

Какой степени качества данных вы хотите достичь через полгода, через год? Сколько времени может потребоваться вашим сотрудникам на исправление ошибок разного типа? Насколько вы рассчитываете их уменьшить? Опытный бизнес-аналитик может помочь вам определить реалистичные ключевые показатели эффективности для вашей организации.

Когда период времени, который вы обозначили в качестве эталона, прошел, проанализируйте достигнутые результаты, пересмотрите свою стратегию улучшения качества данных и при необходимости измените ее.

Проект вашего плана улучшения качества данных может выглядеть следующим образом.

Расчистите путь для точного анализа данных и подлинной информации

Качество данных, которые вы обрабатываете, определяет, насколько ценными будут идеи. В некотором роде без продвинутой аналитики организация лишается будущего, по крайней мере, светлого и процветающего.

Вы можете частично и временно решить острые проблемы с качеством данных, внедрив современные технологии. Но это все равно, что тушить пожар в одной комнате, когда все здание охвачено пламенем. Создание плана улучшения качества данных — это верный способ точно определить, что делать с вашими данными для повышения их качества, как это сделать, кто отвечает за процесс, а также отслеживать прогресс, чтобы проанализировать, когда вы сможете достичь ожидаемого результата.

Статья изначально была опубликована здесь.