O que é detecção de anomalias e como ela pode beneficiar sua empresa?

A detecção de anomalias pode ajudá-lo a identificar tendências futuras antes de seus concorrentes. Ele pode sinalizar transações fraudulentas monitorando o tráfego de lojas on-line e detectar violência em locais públicos, dando à sua equipe de segurança a chance de interferir antes que as pessoas se machuquem.

Interessado? Existem empresas dedicadas à detecção de anomalias que podem ajudá-lo a construir e integrar software personalizado, feito sob medida para detectar desvios comportamentais em seu setor de operações.

Então, o que é detecção de anomalias? Como funciona? E como você pode incorporá-lo aos processos e fluxos de trabalho da sua empresa?

Visão geral do conteúdo

• O que é detecção de anomalias?
• Como funciona a detecção de anomalias?
• Principais casos de uso de detecção de anomalias
• Introdução à detecção de anomalias
• Como o ITRex pode ajudar na detecção de anomalias

O que é detecção de anomalias?

A detecção de anomalias é um tipo de mineração de dados que analisa os dados de uma empresa para detectar pontos de dados que se desviam da linha de base estabelecida (por exemplo, o comportamento padrão do conjunto de dados). Estes valores discrepantes normalmente indicam incidentes, como falhas técnicas em equipamentos, mudanças nas preferências dos clientes e outros tipos de anormalidades, permitindo que as empresas ajam antes que o dano seja causado.

O que é uma anomalia?

Uma anomalia é um ponto de dados inconsistente que se desvia de um padrão familiar. Mesmo que nem sempre represente uma preocupação significativa, vale a pena investigar para evitar possíveis escaladas. Por exemplo, um aumento nas vendas de produtos pode ser resultado de uma campanha de marketing bem-sucedida ou pode apontar para uma mudança nas tendências e no comportamento do cliente, à qual as empresas terão de se adaptar.

As anomalias de dados de negócios se enquadram em três categorias atípicas:

• Um outlier global é um ponto de dados localizado anormalmente distante do restante dos dados. Vamos supor que você receba US$ 7.000 em sua conta bancária todos os meses. Se de repente você receber uma transferência de US$ 50.000, isso seria uma exceção global.
• Um valor discrepante contextual se desvia do restante dos dados dentro do mesmo contexto. Por exemplo, se você mora em um país onde normalmente neva no inverno e o clima é quente no verão, fortes nevascas no inverno são normais. Mas experimentar uma nevasca durante o verão seria uma exceção contextual.
• Um outlier coletivo ocorre quando um subconjunto de pontos de dados se desvia de todo o conjunto de dados. Por exemplo, se você observar quedas incomuns nas vendas de vários produtos aparentemente não relacionados, mas depois perceber que isso está de alguma forma conectado, então suas observações serão combinadas em um valor atípico coletivo.

Por que precisamos de IA na detecção de anomalias?

A maioria das empresas lida com grandes volumes de dados estruturados e não estruturados, sendo que estes últimos compreendem até 90% das informações geradas dentro dos muros da empresa. É impossível processar todas essas informações manualmente e gerar insights significativos — especialmente se falamos de dados não estruturados, que são compostos de imagens, transações, texto de formato livre, etc.

A pesquisa mostra que as técnicas de aprendizado de máquina (ML) são a melhor escolha para processar grandes conjuntos de dados não estruturados. Este campo possui um extenso número de algoritmos, e você pode selecionar o que melhor lhe convier. Você também pode combinar várias técnicas de ML para obter os melhores resultados.

Como funciona a detecção de anomalias?

Existem três tipos principais de técnicas de detecção de anomalias baseadas em IA e ML.

• Detecção supervisionada de anomalias . Aqui, os modelos de ML são treinados e testados com um conjunto de dados totalmente rotulado contendo comportamento normal e anômalo. A abordagem funciona bem ao detectar desvios que faziam parte de um conjunto de dados de treinamento, mas a tecnologia tropeça ao se deparar com uma nova anomalia que não viu no treinamento. As técnicas supervisionadas exigem esforço manual e conhecimento do domínio, pois alguém precisa rotular os dados.
• Detecção de anomalias não supervisionadas . Este método não precisa de rotulagem manual de dados. Os modelos assumem que apenas uma pequena percentagem de pontos de dados que diferem significativamente do resto dos dados constituem anomalias. As técnicas não supervisionadas ainda podem ser excelentes na identificação de novas anomalias que não testemunharam durante o treinamento, porque detectam valores discrepantes com base em suas características, e não no que aprenderam durante o treinamento. No entanto, estes algoritmos são bastante complexos e a sua arquitetura é uma caixa negra, o que significa que os utilizadores não receberão uma explicação de como a ferramenta tomou as suas decisões.
• Detecção de anomalias semissupervisionadas . Essas técnicas envolvem dados rotulados e não rotulados, o que reduz os gastos com anotação manual. Além disso, um modelo semissupervisionado de detecção de anomalias ainda pode aprender após a implantação e detectar anomalias que não foram detectadas no treinamento. Tal como acontece com as técnicas não supervisionadas, estes modelos também podem funcionar com dados não estruturados.

Métodos de detecção de anomalias baseados em IA

A detecção de anomalias depende da inteligência artificial (IA) e seus subtipos, incluindo ML. Aqui estão cinco técnicas de ML que são frequentemente implantadas neste contexto.

Codificadores automáticos

Autoencoders são redes neurais artificiais não supervisionadas que compactam dados e depois os reconstroem para se parecerem com a forma original o mais próximo possível. Esses algoritmos podem efetivamente ignorar ruídos e reconstruir textos, imagens e outros tipos de dados. Um autoencoder tem duas partes:

• Encoder, que compacta os dados de entrada
• Decodificador, que descompacta os dados próximo à sua forma original

Ao usar um autoencoder, preste atenção ao tamanho do código, pois ele determinará a taxa de compactação. Outro parâmetro importante é o número de camadas. Com menos camadas, o algoritmo será mais rápido, mas poderá funcionar com menos recursos.

Redes Bayesianas

Esta técnica é um tipo de modelo probabilístico baseado em gráfico que calcula a probabilidade com base na inferência bayesiana. Os nós em um gráfico correspondem a variáveis ​​aleatórias, enquanto as arestas representam dependências condicionais que permitem ao modelo fazer inferências.

As redes bayesianas são usadas em diagnósticos, modelagem causal, raciocínio e muito mais. Na detecção de anomalias, este método é particularmente útil para detectar desvios sutis que são difíceis de detectar usando outras técnicas. Este método também pode tolerar dados perdidos durante o treinamento e ainda terá um desempenho sólido se treinado em pequenos conjuntos de dados.

Modelos baseados em densidade

Esta é uma técnica de agrupamento de ML não supervisionado que detecta padrões dependendo puramente da localização espacial e das distâncias entre vizinhos. Ele compara o valor da densidade de um ponto de dados com a densidade dos pontos de dados vizinhos. Um valor discrepante (uma anomalia) terá um valor de densidade mais baixo do que outras populações de dados.

Máquina de vetores de suporte (SVM)

Este é um algoritmo de ML supervisionado comumente usado para classificação. No entanto, as extensões SVM também podem operar em um ambiente não supervisionado. Esta técnica usa hiperplanos para dividir pontos de dados em classes.

Embora o SVM normalmente funcione com duas ou mais classes, na detecção de anomalias ele pode analisar problemas de classe única. Ele aprende “a norma” para esta classe e determina se um ponto de dados pode pertencer a esta classe ou se é um valor discrepante.

Modelos de Mistura Gaussiana (GMM)

GMM é uma técnica de agrupamento probabilístico. Esta técnica classifica os dados em diferentes clusters com base na distribuição de probabilidade. Ele assume que os pontos de dados pertencem a uma mistura de distribuições gaussianas com parâmetros desconhecidos e detecta anomalias detectando dados em regiões de baixa densidade.

Principais casos de uso de detecção de anomalias

Agora que você sabe como a detecção de anomalias funciona nos bastidores e as técnicas de IA nas quais ela se baseia, é hora de estudar alguns exemplos de detecção de anomalias em diferentes setores.

Detecção de anomalias na área da saúde

A detecção de anomalias pode beneficiar o setor médico, ajudando os médicos a identificar quaisquer problemas de saúde dos pacientes, detectar escaladas em pacientes internados, notificar a equipe médica antes que seja tarde demais e auxiliar no diagnóstico e na seleção do tratamento. Tudo isso reduz o trabalho manual e a carga cognitiva que os médicos vivenciam.

No entanto, a detecção de anomalias tem seus desafios únicos na área da saúde.

Um problema é que pode ser difícil estabelecer a linha de base (isto é, o comportamento normal) quando se trata de diferentes diagramas médicos. Por exemplo, um eletroencefalograma de uma pessoa saudável varia de acordo com as características individuais. Os investigadores identificaram variações consideráveis ​​nas crianças e existem diferenças nos adultos dependendo da faixa etária e do sexo.

Outro aspecto é que os modelos de ML devem ser altamente precisos, pois a vida das pessoas dependerá do seu desempenho.

Algoritmos de detecção de anomalias médicas podem analisar as seguintes informações:

• Sinais vitais e outros parâmetros medidos por dispositivos médicos IoT
• Imagens médicas, como raios X e tomografias computadorizadas, que apresentam sinais de tumores benignos e malignos, infecções e outras condições de saúde
• Reivindicações de seguros de saúde, ajudando a identificar e bloquear qualquer atividade fraudulenta. Isto poderia ser uma mudança de jogo no seguro médico, uma vez que até 10% das despesas anuais do Medicare e do Medicaid são atualmente destinadas a reclamações fraudulentas.

Um exemplo de detecção de anomalias vem de uma equipe de pesquisa na África do Sul. Eles combinaram com sucesso técnicas de autoencoder e de aumento de gradiente extremo para monitorar as variáveis ​​fisiológicas de pacientes com COVID-19 e detectar quaisquer anomalias que pudessem indicar degradação da saúde.

Outra equipe se concentrou não apenas em detectar anomalias, mas também em explicar por que a ferramenta as sinalizou como tal. Então, primeiro, eles usaram técnicas de detecção de anomalias para detectar desvios e, em seguida, implantaram algoritmos de mineração de aspecto para delinear um conjunto de recursos nos quais um determinado ponto de dados é considerado um valor discrepante.

Detecção de anomalias em entretenimento

Os ambientes esportivos e de entretenimento dependem de amplo monitoramento de segurança baseado em vídeo com centenas de câmeras. Portanto, não seria possível que as equipes de segurança detectassem e reagissem aos acidentes a tempo se as filmagens fossem revisadas manualmente. Graças ao ML, os algoritmos podem analisar o streaming de vídeos de cada câmera nas instalações e detectar violações de segurança.

À medida que os modelos de ML continuam aprendendo no trabalho, eles podem detectar ameaças e violações que seus operadores humanos não poderiam ter notado. Esses algoritmos podem detectar vandalismo, agitação entre espectadores, fumaça, objetos suspeitos e muito mais, e alertar a equipe de segurança para que tenham tempo de agir e evitar responsabilidades e danos à reputação.

Um desses projetos sai direto do nosso portfólio. Uma empresa de entretenimento sediada nos EUA com salas de jogos localizadas em todo o país recorreu à ITRex para construir uma solução de detecção de anomalias baseada em ML que se integraria ao seu sistema de vigilância por vídeo baseado em nuvem. Este aplicativo detectaria qualquer comportamento perigoso e violento, como quebrar máquinas caça-níqueis. Também agilizaria o processo administrativo, identificando itens esquecidos e máquinas que estão fora de serviço.

Nossa equipe construiu um modelo de ML personalizado usando um autoencoder variacional. Agregamos um conjunto de dados de treinamento de 150 vídeos retratando violência física e danos materiais e pré-processamos esses vídeos com a estrutura OpenCV. Em seguida, contamos com a biblioteca torchvision para normalizar e aumentar os dados e a usamos para treinar o algoritmo de ML.

A solução resultante contou com validação cruzada para detectar anomalias. Por exemplo, ele poderia identificar máquinas caça-níqueis com defeito “lendo” a mensagem de erro na tela e validando-a em relação aos modelos de tela disponíveis. A solução final integrou-se perfeitamente ao sistema de segurança baseado em nuvem do cliente, monitorou máquinas caça-níqueis 24 horas por dia, 7 dias por semana e notificou o pessoal de segurança sempre que detectou uma anomalia.

Detecção de anomalias na fabricação

À medida que os processos de produção se tornam cada vez mais automatizados, as máquinas tornam-se mais complexas e as instalações crescem. Consequentemente, as abordagens tradicionais de monitorização já não são suficientes.

As técnicas de detecção de anomalias podem retratar diferentes desvios da norma em suas instalações e notificá-lo antes que aumentem e até mesmo aprender a distinguir entre problemas menores e preocupações urgentes.

Existem inúmeros benefícios de detecção de anomalias para a fabricação. Essas ferramentas podem detectar os seguintes problemas:

• Mau funcionamento do equipamento . Em colaboração com os sensores de fabricação da Internet das Coisas (IoT), os algoritmos de IA podem monitorar vários parâmetros do dispositivo, como vibração, temperatura, etc., e detectar quaisquer desvios da norma. Tais alterações podem indicar que o equipamento está sobrecarregado, mas também pode significar o início de uma pane. O algoritmo sinalizará o equipamento para inspeção adicional. Isso também é chamado de manutenção preditiva.
• Subutilização de equipamentos . As soluções de detecção de anomalias baseadas em ML podem ver quais dispositivos ficam ociosos por um período prolongado e estimulam o operador a equilibrar a distribuição de carga.
• Riscos de segurança . Ao monitorar as imagens das câmeras de segurança, o software de detecção de anomalias pode detectar funcionários que não cumprem os protocolos de segurança da fábrica, colocando em risco o seu bem-estar. Se seus funcionários usam wearables para monitoramento de segurança, o ML pode analisar os dados dos sensores para detectar trabalhadores exaustos e doentes e incentivá-los a fazer uma pausa ou sair naquele dia.
• Questões de infra-estrutura . Os algoritmos de ML podem detectar vazamentos de água ou gás e quaisquer outros danos à infraestrutura e notificar o gerente do local correspondente.

Um exemplo de solução de detecção de anomalias de fabricação vem da Hemlock Semiconductor, uma produtora de polissilício hiperpuro com sede nos EUA. A empresa implantou a detecção de anomalias para obter visibilidade de seus processos e registrar quaisquer desvios dos padrões de produção ideais. A empresa relatou economizar cerca de US$ 300.000 por mês no consumo de recursos.

Detecção de anomalias no varejo

A detecção de anomalias pode ajudar os varejistas a identificar padrões incomuns de comportamento e usar esses insights para melhorar as operações e proteger seus negócios e clientes. Os algoritmos de IA podem acompanhar as mudanças nas demandas dos clientes e alertar os varejistas para que parem de adquirir produtos que não serão vendidos enquanto reabastecem os itens que estão em demanda. Além disso, as anomalias podem representar oportunidades de negócio nas fases iniciais, permitindo aos retalhistas capitalizá-las antes da concorrência. No caso do comércio eletrônico, os proprietários de sites podem implantar modelos de detecção de anomalias para monitorar o tráfego e detectar comportamentos incomuns que possam sinalizar atividades fraudulentas.

Além disso, os varejistas podem usar técnicas de detecção de anomalias para proteger suas instalações. Na ITRex, conduzimos uma série de PoCs para construir uma solução que possa detectar expressões de violência, como brigas, em vídeos transmitidos por câmeras de segurança instaladas em shoppings e outros locais públicos. A solução depende do método de detecção de anomalias de redes neurais convolucionais 3D, que foi treinado em um extenso conjunto de dados de combate. Este tipo de algoritmo de ML é conhecido por ter um bom desempenho em tarefas de detecção de ações. Se você estiver interessado em tal solução, podemos mostrar a demonstração completa para começar. Em seguida, nossa equipe ajustará o algoritmo e ajustará suas configurações para corresponder às especificidades de sua localização e negócio, e iremos integrá-lo perfeitamente ao seu sistema de segurança existente.

Introdução à detecção de anomalias

Como você pode ver, treinar modelos de IA personalizados para detecção precisa de anomalias pode ser um desafio técnico. É por isso que nossa equipe preparou um guia de cinco etapas para empresas que estão de olho na nova tecnologia. Role para baixo para obter algumas dicas de especialistas - e considere baixar nosso guia de negócios para IA se você for novo em IA ou estiver procurando mais informações sobre aplicativos de IA e custos de projetos.

Etapa 1: determine como você abordará a detecção de anomalias

Existem duas opções aqui. Você está procurando anomalias específicas em seus dados ou deseja sinalizar tudo que se desvia do comportamento padrão. O que você escolher aqui afetará seus dados de treinamento e restringirá a seleção de técnicas de IA.

Se quiser capturar todos os eventos que se desviam da linha de base, você treinará o modelo em um grande conjunto de dados que representa o comportamento normal. Por exemplo, se você estiver trabalhando com direção e segurança no trânsito, seu conjunto de dados será composto por vídeos que mostram uma direção segura.

Suponha que você esteja procurando detectar anomalias específicas – por exemplo, acidentes de carro, mas não violações menores, como passar por um sinal vermelho. Nesse caso, seu conjunto de dados de treinamento incluirá vídeos ou imagens de acidentes de carro.

Etapa 2: Agregar e pré-processar o conjunto de dados de treinamento

O resultado da etapa anterior o ajudará a decidir que tipo de dados você precisa.

Colete os dados de fontes internas da sua empresa ou use conjuntos de dados disponíveis publicamente. Em seguida, limpe esses dados para eliminar duplicatas e quaisquer entradas incorretas ou desequilibradas. Quando o conjunto de dados é limpo, você pode usar escalonamento, normalização e outras técnicas de transformação de dados para tornar o conjunto adequado para algoritmos de IA. Divida seu conjunto de dados em três partes:

• Dados de treinamento para ensinar os modelos
• Dados de validação para avaliar o desempenho do modelo durante o treinamento
• Testando dados para avaliar o desempenho após concluir o processo de treinamento

Para obter mais informações, confira nosso guia detalhado sobre como preparar dados para aprendizado de máquina.

Etapa 3: Escolha sua técnica de detecção de anomalias

Esta etapa só é relevante se você quiser construir uma solução personalizada. Você ou seu fornecedor de tecnologia selecionarão a técnica de IA mais adequada para resolver o problema de negócios. Existem três fatores principais a serem considerados aqui:

• A tarefa em questão (consulte a Etapa 1 acima). Se você deseja detectar anomalias especificamente definidas, o Variational Autoencoder (VAE) é uma ótima opção.
• Os requisitos técnicos . Isso pode incluir a precisão e os níveis de detalhe que você pretende alcançar. Por exemplo, se você deseja treinar um modelo de ML que detecta anomalias em vídeos, decidir sobre a taxa de quadros ideal é fundamental, uma vez que algoritmos diferentes analisam quadros em velocidades diferentes. Desde que a anomalia que você deseja detectar possa ocorrer dentro de um segundo, é recomendado que você estude cada quadro em um videoclipe, e o uso de algoritmos mais lentos, como VAE, torna-se impraticável. A decomposição de valores singulares (SVD), por outro lado, pode fazer o trabalho consideravelmente mais rápido.
• O tamanho do seu conjunto de dados de treinamento . Alguns modelos, como codificadores automáticos, não podem ser treinados adequadamente em pequenos conjuntos de dados.

Etapa 4: construir/comprar e treinar o modelo

Você pode adquirir um software de detecção de anomalias pronto ou implementar um sistema personalizado que corresponda às suas necessidades exclusivas e seja adaptado ao tipo de anomalias em que você está interessado.

Você pode optar por um sistema de detecção de anomalias pronto para uso quando tiver recursos financeiros limitados, nenhum conjunto de dados de treinamento personalizado ou nenhum tempo para treinamento de modelo, e você pode encontrar um fornecedor que já oferece uma solução que pode detectar o tipo de anomalias você está preocupado. Mas tenha em mente que estas soluções têm pressupostos incorporados relativamente às características dos dados e terão um bom desempenho enquanto estes pressupostos se mantiverem. No entanto, se os dados da sua empresa se desviarem dessa linha de base, o algoritmo poderá não detectar anomalias com a mesma precisão.

Se você tiver dados suficientes para treinar algoritmos de IA, poderá contratar uma empresa de desenvolvimento de ML para construir e treinar uma solução personalizada de detecção de anomalias. Esta opção será projetada para atender às necessidades do seu negócio e se adequar aos seus processos. Outro grande benefício é que você ainda pode otimizar esta solução mesmo após a implantação. Você pode ajustar suas configurações para que funcione mais rápido ou focar em parâmetros diferentes, dependendo das mudanças nos requisitos de negócios.

Etapa 5: implantar e monitorar a solução

Você implantará a solução de detecção de anomalias localmente ou na nuvem. Se você trabalha com ITRex, teremos duas opções para você escolher:

• Detecção de anomalias baseada em nuvem , onde agregamos dados de seus sistemas de software, dispositivos e serviços de terceiros e os transmitimos para a nuvem para armazenamento e processamento para aliviar a carga de seus recursos locais.
• Detecção de anomalias de borda , onde algoritmos de ML analisam seus dados localmente e carregam apenas uma parte dos dados para a nuvem. Esta abordagem é mais adequada para sistemas de missão crítica que não toleram atrasos, como veículos autónomos e soluções médicas de IoT.

Os algoritmos de ML continuam a aprender no trabalho, o que lhes permite adaptar-se a novos tipos de dados. Mas isto também significa que podem adquirir preconceitos e outras tendências indesejáveis. Para evitar esse cenário, você pode agendar uma auditoria para reavaliar o desempenho dos algoritmos e implementar os ajustes necessários.

Como o ITRex pode ajudar na detecção de anomalias

No Grupo ITRex, temos vasta experiência com modelos de ML, como Autoencoders Beta-Variacionais (Beta-VAE) e Modelos de Mistura Gaussiana (GMM), IoT, análise de dados e visualização de dados. Implementámos estas tecnologias em diferentes indústrias, por isso estamos conscientes das especificidades que setores fortemente regulamentados, como os cuidados de saúde, trazem. Usamos uma combinação de tecnologia proprietária e de código aberto, como ferramentas de mineração de dados e estruturas de ML, para desenvolver soluções personalizadas e integrá-las aos seus processos de negócios.

Nossas soluções personalizadas baseadas em IA para detecção de anomalias podem funcionar com ambas as tarefas: detectar anomalias predefinidas e detectar qualquer desvio do comportamento padrão estabelecido. Você pode optar pela nuvem para economizar infraestrutura ou podemos fazer o sistema funcionar localmente para suportar aplicativos críticos que não toleram latência.

Interessado em implementar um sistema de detecção de anomalias? Deixe-nos uma mensagem ! Podemos ajudá-lo a construir e treinar um modelo de ML personalizado. Mesmo que você opte por uma solução pronta, se ela for de código aberto e tiver uma API, ainda podemos treiná-la novamente com seus próprios dados para que ela se adapte melhor ao seu sistema!

Publicado originalmente em https://itrexgroup.com em 1º de agosto de 2023.