Cuando los datos se dañan: ¿cómo mejorar la calidad de los datos?

La correlación entre la calidad de los datos y la toma de decisiones es obvia. Basura entra, basura sale, ¿recuerdas? Cuando las organizaciones no se preocupan por la calidad de los datos (DQ), pueden jugarles una mala pasada. El manejo de problemas causados ​​por datos incorrectos puede costarle a una empresa del 15 % al 25 % de sus ingresos anuales. Sin mencionar que la mala calidad de los datos dificulta los esfuerzos de transformación digital de la organización.

Un almacén de datos no es un bote de basura. Debe contener solo datos significativos que sean valiosos para su negocio. Al hacer un volcado de su almacén de datos, desperdicia dinero en almacenar datos de peso muerto que no puede aprovechar para impulsar su negocio.

¿Cómo convertir esta pérdida en una ganancia y aprovechar la calidad de los datos como una ventaja competitiva que remodelará su posición entre los rivales? Hemos enumerado los problemas comunes que puede enfrentar al manejar los datos y describimos las formas de mejorar la calidad de los datos.

Seis posibles problemas que puede enfrentar en su camino para mejorar la calidad de los datos

Los datos tienen características de calidad particulares: integridad, validez, singularidad, consistencia, puntualidad y precisión. Hay una serie de problemas relacionados con ellos. Los malos resultados de DQ en:

• silos de datos . Según McKinsey, varios lagos de datos y almacenes sin un modelo de datos común son uno de los principales desafíos a nivel empresarial. Incluso si solo tiene un almacén, ejecutar un análisis se vuelve problemático cuando sus datos están dispersos en múltiples sistemas empresariales.
• Errores humanos . Cuando los clientes o empleados cometen errores tipográficos, como escribir "Minesota" en lugar de "Minnesota" al ingresar información manualmente, obtiene datos que no representan la realidad.
• Datos duplicados . Cuando un empleado ingresa datos de clientes en su CRM y otro registra los mismos datos de clientes en otro sistema, termina con duplicados. Si no son completamente idénticos, entonces hay un problema: ¿cuál es confiable?
• Datos inválidos . El análisis no tiene sentido si obtiene cualquier dato en lugar de los datos que necesita. Un ejemplo de este error es cuando el campo de nombre está lleno de apellidos. Imagínese tener una mesa completa de Smiths cuando necesite determinar cuál de sus clientes habituales merece un descuento personal.
• Valores perdidos . La falta de datos es inaceptable para los procedimientos estadísticos. Si no se completan algunos campos obligatorios, no puede analizar los datos y tomar medidas. Por ejemplo, si recopila datos sobre la edad y el género de sus compradores en una encuesta de satisfacción del cliente, es posible que algunos de ellos no revelen su género si solo se ofrecen las opciones "femenino" y "masculino". Esto puede estar relacionado con que los jóvenes se identifiquen como no binarios, queer, etc.
• Formatos de datos inconsistentes . Puede sentir que está pasando por un infierno al tener que manejar fechas ingresadas en estilos europeos y estadounidenses.

Los datos de alta calidad facilitan la gestión de datos. Y si puede administrar datos con confianza, puede administrar con confianza toda la empresa. Es por eso que elevar DQ es una de las principales prioridades para los próximos 6 a 12 meses para el 91 % de las organizaciones. Si todavía estás indeciso sobre cuándo debes empezar a arreglar tu DQ, esta es tu señal para no dejarlo para mañana.

Cómo mitigar los problemas de calidad de los datos: adoptar tecnologías de última generación

Antes de responder a la pregunta de cómo mejorar la calidad de los datos, primero debe averiguar cómo mejorar la gestión de datos. Centra tu atención y presupuesto en la adopción de nuevas tecnologías. Hay al menos dos posibilidades para facilitar su proceso de mejora de la calidad de los datos:

• Aproveche la automatización para eliminar los errores humanos . Por ejemplo, adoptar la automatización robótica de procesos (RPA) libera a sus empleados de operaciones monótonas y repetitivas, elimina la posibilidad de errores humanos y reduce el costo de procesamiento de datos hasta en un 80 %. Por ejemplo, con RPA, puede convertir fácilmente todas las fechas en un formato, verificar la ausencia o presencia de los datos, su actualidad, etc., ya que todas estas acciones pueden reducirse a un algoritmo claro realizado por un bot. Además, en industrias altamente reguladas como la atención médica, la automatización mejora el cumplimiento de numerosos protocolos (HIPAA, PSQIA, GDPR, etc.) y, por lo tanto, ayuda a crear una mejor experiencia para el paciente.
• Aproveche Business Intelligence (BI) para tener una visión completa de la calidad de sus datos . Debe evaluar periódicamente sus datos para asegurarse de que la información siga siendo confiable.

La cooperación con analistas de BI experimentados es clave. Lo ayudan a determinar qué preguntas debe responder, qué historia desea contar con sus datos y crear un tablero personalizado basado en esa información.

— Ivan Dubouski, líder del equipo de inteligencia empresarial, *instinctools

Un tablero genérico puede mostrar hasta qué punto los datos cumplen con los requisitos de calidad de datos. Según Gartner, el seguimiento de las métricas de calidad de los datos ayuda a mejorarlas en un 60 %.

También puede proporcionar a sus científicos e ingenieros de datos paneles más granulares que visualicen las historias de los problemas subyacentes a los principales problemas de calidad de datos.

Utilice los servicios de consultoría de BI para decidir dónde comenzar su viaje de mejora de la calidad de los datos e identifique las tecnologías adecuadas para ayudarlo en el camino.

Cómo desarrollar una estrategia sólida de mejora de la calidad de los datos

Las iniciativas puntuales y las acciones ad-hoc tratan los síntomas, no la enfermedad. Necesita ajustes estratégicos a largo plazo para empoderar a su personal con análisis avanzados en todos los niveles de la organización. Por eso, antes de lanzarse a una iniciativa DQ, cree una estrategia de calidad de datos (DQS). Hemos enumerado seis elementos vitales de la misma.

1. Haga un inventario de sus datos y describa los problemas

Desarrollar una visión común de la calidad de los datos para los empleados de diferentes departamentos es esencial. Para lograrlo responde preguntas básicas como: ¿Cuántos datos tienes? ¿Qué tipos de datos recopila y almacena? ¿Cuántos errores hay en los datos? ¿Qué tipo de errores son estos?

2. Desarrolla tus requerimientos y objetivos

En esta etapa, debe identificar a las partes interesadas del futuro proceso de mejora de la calidad de los datos. Cuantos más expertos puedan evaluar los datos desde diferentes perspectivas, con mayor precisión podrá definir los requisitos y aspiraciones de DQ para su organización y las formas de mejorar la calidad de los datos.

Puede resultar que su empresa necesite un empleado dedicado que evalúe la calidad de los datos de acuerdo con parámetros clave: un administrador de datos. Son responsables de los datos que guarda en su organización, hacen cumplir las reglas internas sobre cómo se pueden usar los datos y rastrean el movimiento de los datos dentro de la empresa. La misión de un administrador de datos es coordinar todos los procesos y decisiones que surgen de su DQS.

No olvide establecer un cronograma aproximado para implementar un plan de mejora de la calidad de los datos, ya que depende de la escala de su organización.

3. Establecer prioridades para diferentes conjuntos de datos

Trabajar en la calidad de los datos de los clientes y los datos internos de la empresa simultáneamente es excelente. Pero si su presupuesto es limitado, debe elegir la mejora de qué datos son la prioridad para el éxito y el crecimiento de su negocio. Al mejorar la calidad de los datos relacionados con la información personal de los clientes, puede personalizar su experiencia y aumentar la satisfacción del cliente. Sin embargo, renovar los datos internos de la organización puede brindarle el mismo beneficio. Al tener datos de alta calidad sobre su personal, puede revelar completamente el potencial y los talentos de sus empleados y descubrir cómo optimizar los procesos dentro de una empresa.

4. Seleccionar tecnologías y herramientas para mejorar la calidad de los datos

Dada la gran cantidad de ofertas en el mercado, resulta complicado y requiere mucho tiempo comparar sus características, costos de licencia, opciones de pago, etc. puede necesitar para modernizarlo.

La adopción de nuevas tecnologías y herramientas puede requerir más conocimiento de adentro hacia afuera de lo que se esperaba inicialmente, así que elija socios tecnológicos que tengan experiencia en el manejo de problemas de datos.

5. Identificar las funciones y responsabilidades de las partes interesadas

En esta etapa, decide las tareas asignadas a un administrador de datos, ingeniero de datos, analista comercial, ejecutivos, etc. Para que el barco de su estrategia de mejora de la calidad de los datos navegue sin problemas, necesita muchas manos remando en la misma dirección. Un administrador de datos puede realizar un seguimiento de los estándares de calidad de los datos en toda la organización y en proyectos particulares, los analistas comerciales priorizan las tareas desde la perspectiva de los beneficios comerciales y los miembros de la suite C toman las decisiones finales sobre las acciones que se deben tomar.

6. Establecer KPIs para evaluar el progreso

¿Qué grado de calidad de datos desea lograr en seis meses, en un año? ¿Cuánto tiempo pueden tardar sus empleados en corregir errores de diferentes tipos? ¿Hasta qué punto espera reducirlos? Un analista comercial experimentado puede ayudarlo a determinar los KPI realistas para su organización.

Cuando haya pasado el período de tiempo que ha designado como punto de referencia, analice los resultados obtenidos, revise su estrategia de mejora de la calidad de los datos y modifíquela si es necesario.

El borrador de su plan de mejora de la calidad de los datos puede tener este aspecto.

Limpie el camino para un análisis de datos preciso y conocimientos genuinos

La calidad de los datos que procesa determina cuán valiosos serán los conocimientos. De alguna manera, sin análisis avanzados, una organización se ve privada de un futuro, al menos uno, brillante y próspero.

Puede resolver de forma parcial y temporal los problemas de calidad de los datos quemados mediante la adopción de tecnologías modernas. Pero es como apagar un fuego en una habitación cuando todo un edificio está envuelto en llamas. Crear un plan de mejora de la calidad de los datos es una forma segura de determinar qué hacer con sus datos para mejorar su calidad, cómo hacerlo, quién está a cargo del proceso y realizar un seguimiento del progreso para analizar cuándo puede lograr el resultado esperado.

El artículo fue publicado originalmente aquí.