Quando os dados ficam ruins: como melhorar a qualidade dos dados?

A correlação entre a qualidade dos dados e a tomada de decisão é óbvia. Lixo dentro, lixo fora, lembra? Quando as organizações não se preocupam com a qualidade dos dados (DQ), isso pode ser uma peça cruel. Lidar com problemas causados ​​por dados incorretos pode custar a uma empresa de 15% a 25% de sua receita anual. Sem mencionar que a baixa qualidade dos dados dificulta os esforços de transformação digital da organização.

Um data warehouse não é uma lata de lixo. Ele deve conter apenas dados significativos que sejam valiosos para o seu negócio. Fazendo um dump de seu data warehouse, você desperdiça dinheiro armazenando dados de peso morto que você não pode aproveitar para impulsionar seus negócios.

Como transformar essa perda em lucro e alavancar a qualidade dos dados como uma vantagem competitiva que reformulará sua posição entre os rivais? Listamos problemas comuns que você pode enfrentar ao lidar com dados e descrevemos as formas de melhorar a qualidade dos dados.

Seis possíveis problemas que você pode enfrentar no caminho para melhorar a qualidade dos dados

Os dados têm características particulares de qualidade – completude, validade, singularidade, consistência, pontualidade e precisão. Há uma série de questões relacionadas a eles. DQ ruim resulta em:

• Silos de dados . De acordo com a McKinsey, vários data lakes e armazéns sem modelo de dados comum são um dos principais desafios no nível corporativo. Mesmo se você tiver apenas um warehouse, executar uma análise se torna problemático quando seus dados estão espalhados por vários sistemas corporativos.
• Erros humanos . Quando clientes ou funcionários cometem erros de digitação como escrever “Minesota” em vez de “Minnesota” ao inserir informações manualmente, você obtém dados que não representam a realidade.
• Dados duplicados . Quando um funcionário insere dados de clientes em seu CRM e outro registra os mesmos dados de clientes em outro sistema, você acaba com duplicatas. Se eles não forem completamente idênticos, há um problema: qual deles é confiável?
• Dados inválidos . A análise não faz sentido se você obtiver apenas quaisquer dados em vez dos dados necessários. Um exemplo desse erro é quando o campo de nome é preenchido com sobrenomes. Imagine-se tendo uma mesa inteira de Smiths quando precisar determinar qual de seus clientes regulares merece um desconto pessoal.
• Valores ausentes . A falta de dados é inaceitável para procedimentos estatísticos. Se alguns campos obrigatórios não forem preenchidos, você não poderá analisar os dados e agir. Por exemplo, se você estiver coletando dados sobre idade e sexo de seus compradores em uma pesquisa de satisfação do cliente, alguns deles podem não revelar seu sexo se apenas as opções “feminino” e “masculino” forem oferecidas. Isso pode estar relacionado a jovens que se identificam como não-binários, queer, etc.
• Formatos de dados inconsistentes . Você pode sentir que está passando pelo inferno ao ter que lidar com datas inseridas em estilos europeus e americanos.

Dados de alta qualidade facilitam a governança de dados. E se você puder gerenciar dados com confiança, poderá gerenciar toda a empresa com confiança. É por isso que aumentar o DQ é uma das principais prioridades para os próximos 6 a 12 meses para 91% das organizações. Se você ainda está indeciso sobre quando deve começar a consertar seu DQ, este é o seu sinal para não adiar até amanhã.

Como mitigar problemas de qualidade de dados: adote tecnologias de ponta

Antes de responder à pergunta sobre como melhorar a qualidade dos dados, primeiro você precisa descobrir como melhorar o gerenciamento de dados. Concentre sua atenção e orçamento na adoção de novas tecnologias. Há pelo menos duas possibilidades para facilitar sua jornada de aprimoramento da qualidade de dados:

• Aproveite a automação para eliminar erros humanos . Por exemplo, adotar a automação de processos robóticos (RPA) libera seus funcionários de operações monótonas e repetitivas, elimina a possibilidade de erro humano e reduz o custo de processamento de dados em até 80%. Por exemplo, com RPA, você pode facilmente converter todas as datas em um formato, verificar a ausência ou presença dos dados, sua atualidade etc., pois todas essas ações podem ser reduzidas a um algoritmo claro realizado por um bot. Além disso, em setores altamente regulamentados, como saúde, a automação melhora a conformidade com vários protocolos (HIPAA, PSQIA, GDPR etc.) e, assim, ajuda a criar uma melhor experiência para o paciente.
• Aproveite o Business Intelligence (BI) para ter uma visão abrangente da qualidade de seus dados . Você precisa avaliar regularmente seus dados para garantir que as informações ainda sejam confiáveis.

A cooperação com analistas de BI experientes é fundamental. Eles ajudam você a descobrir quais perguntas você precisa responder, qual história você deseja contar com seus dados e criar um painel personalizado com base nessas informações.

— Ivan Dubouski, líder da equipe de inteligência de negócios, *instinctools

Um painel genérico pode mostrar até que ponto os dados atendem aos requisitos de qualidade de dados. De acordo com o Gartner, acompanhar as métricas de qualidade de dados ajuda a melhorá-las em 60%.

Você também pode fornecer a seus cientistas e engenheiros de dados painéis mais granulares que visualizam as histórias de problemas subjacentes aos principais problemas de qualidade de dados.

Use os serviços de consultoria de BI para decidir por onde iniciar sua jornada de melhoria da qualidade de dados e identificar as tecnologias apropriadas para ajudá-lo ao longo do caminho.

Como desenvolver uma estratégia robusta de melhoria da qualidade de dados

Iniciativas pontuais e ações pontuais tratam os sintomas, não a doença. Você precisa de ajustes estratégicos de longo prazo para capacitar sua equipe com análises avançadas em todos os níveis da organização. É por isso que, antes de entrar em uma iniciativa de DQ, crie uma estratégia de qualidade de dados (DQS). Listamos seis elementos vitais dela.

1. Faça um inventário de seus dados e descreva os problemas

Desenvolver uma visão comum de qualidade de dados para funcionários de diferentes departamentos é essencial. Para alcançá-lo, responda a perguntas básicas como: Quantos dados você tem? Que tipos de dados você coleta e armazena? Quantos erros existem nos dados? Que tipo de erros são esses?

2. Desenvolva seus requisitos e objetivos

Nesta fase, você deve identificar as partes interessadas do futuro processo de melhoria da qualidade de dados. Quanto mais especialistas puderem avaliar os dados de diferentes perspectivas, com mais precisão você poderá definir os requisitos e aspirações de DQ para sua organização e as formas de melhorar a qualidade dos dados.

Pode acontecer que sua empresa precise de um funcionário dedicado que avaliará a qualidade dos dados de acordo com os principais parâmetros – um administrador de dados. Eles são responsáveis ​​por quais dados você mantém em sua organização, impõem regras internas sobre como os dados podem ser usados ​​e acompanham o movimento dos dados dentro da empresa. A missão de um administrador de dados é coordenar todos os processos e decisões que surgem do seu DQS.

Não se esqueça de definir um cronograma aproximado para implementar um plano de melhoria da qualidade de dados, pois depende da escala da sua organização.

3. Defina prioridades para diferentes conjuntos de dados

Trabalhar a qualidade dos dados dos clientes e os dados internos da empresa simultaneamente é ótimo. Mas se o seu orçamento for limitado, você precisa escolher a melhoria de quais dados é a prioridade para o sucesso e crescimento do seu negócio. Ao melhorar a qualidade dos dados relacionados às informações pessoais dos clientes, você pode personalizar sua experiência e aumentar a satisfação do cliente. No entanto, a renovação dos dados internos da organização pode trazer-lhe o mesmo benefício. Com dados de alta qualidade sobre sua equipe, você pode revelar totalmente o potencial e os talentos de seus funcionários e descobrir como otimizar os processos dentro de uma empresa.

4. Selecione tecnologias e ferramentas para melhorar a qualidade dos dados

Dado o grande número de ofertas no mercado, torna-se demorado e complicado comparar seus recursos, custos de licenciamento, opções de pagamento, etc. talvez precise modernizá-lo.

A adoção de novas tecnologias e ferramentas pode exigir mais conhecimento de dentro para fora do que o esperado inicialmente, portanto, escolha parceiros de tecnologia que já tenham experiência em lidar com problemas de dados.

5. Identifique os papéis e responsabilidades das partes interessadas

Nesse estágio, você define as tarefas atribuídas a um administrador de dados, engenheiro de dados, analista de negócios, executivos etc. Para que o barco de sua estratégia de melhoria da qualidade de dados navegue sem problemas, você precisa de muitas mãos remando na mesma direção. Um administrador de dados pode acompanhar os padrões de qualidade de dados em toda a organização e, em projetos específicos, os analistas de negócios priorizam as tarefas da perspectiva dos benefícios do negócio e os membros do C-suite tomam as decisões finais sobre quais ações devem ser tomadas.

6. Defina KPIs para avaliar o progresso

Que grau de qualidade de dados você deseja alcançar em seis meses, em um ano? Quanto tempo seus funcionários podem levar para corrigir erros de diferentes tipos? Até que ponto você espera reduzi-los? Um analista de negócios experiente pode ajudá-lo a determinar os KPIs realistas para sua organização.

Quando o período de tempo que você designou como referência tiver passado, analise os resultados alcançados, revise sua estratégia de melhoria da qualidade de dados e modifique-a, se necessário.

O rascunho do seu plano de melhoria da qualidade de dados pode ter esta aparência.

Limpe o caminho para uma análise de dados precisa e insights genuínos

A qualidade dos dados que você processa determina o valor dos insights. De alguma forma, sem análise avançada, uma organização é privada de um futuro, pelo menos um, que seja brilhante e próspero.

Você pode resolver parcial e temporariamente problemas de qualidade de dados de gravação adotando tecnologias modernas. Mas é como apagar um incêndio em uma sala quando um prédio inteiro está envolto em chamas. Criar um plano de melhoria de qualidade de dados é uma maneira infalível de identificar o que fazer com seus dados para melhorar sua qualidade, como fazê-lo, quem é responsável pelo processo e acompanhar o progresso para analisar quando você pode alcançar um resultado esperado.

O artigo foi publicado originalmente aqui.