Ce este detectarea anomaliilor și cum poate aduce beneficii companiei dvs.?

Detectarea anomaliilor vă poate ajuta să identificați tendințele viitoare înaintea concurenților. Poate semnala tranzacțiile frauduloase prin monitorizarea traficului din magazinele online și poate detecta violența în locuri publice, oferind echipei dvs. de securitate șansa de a interveni înainte ca oamenii să fie răniți.

Interesat? Există companii dedicate de detectare a anomaliilor care vă pot ajuta să construiți și să integrați software personalizat, adaptat pentru a identifica abaterile de comportament în sectorul dvs. de operațiuni.

Deci, ce este detectarea anomaliilor? Cum functioneazã? Și cum îl puteți încorpora în procesele și fluxurile de lucru ale companiei dvs.?

Prezentare generală a conținutului

• Ce este detectarea anomaliilor?
• Cum funcționează detectarea anomaliilor?
• Cazuri de utilizare cheie pentru detectarea anomaliilor
• Începeți cu detectarea anomaliilor
• Cum poate ajuta ITRex la detectarea anomaliilor

Ce este detectarea anomaliilor?

Detectarea anomaliilor este un tip de data mining care analizează datele unei companii pentru a detecta punctele de date care se abat de la linia de bază stabilită (de exemplu, comportamentul standard al setului de date). Aceste valori aberante indică de obicei incidente, cum ar fi defecțiuni tehnice ale echipamentelor, modificări ale preferințelor clienților și alte tipuri de anomalii, permițând companiilor să acționeze înainte de producerea daunelor.

Ce este o anomalie?

O anomalie este un punct de date inconsecvent care se abate de la un model familiar. Chiar dacă nu reprezintă întotdeauna o îngrijorare semnificativă, merită investigat pentru a preveni eventualele escalade. De exemplu, o creștere a vânzărilor de produse poate fi rezultatul unei campanii de marketing de succes sau poate indica o schimbare a tendințelor și a comportamentului clienților, la care companiile vor trebui să se adapteze.

Anomaliile datelor comerciale se încadrează în trei categorii aberante:

• O valoare anormală globală este un punct de date care este situat anormal de departe de restul datelor. Să presupunem că primiți 7.000 USD în contul dvs. bancar în fiecare lună. Dacă primiți dintr-o dată un transfer de 50.000 USD, acesta ar fi o valoare anormală globală.
• Un outlier contextual se abate de la restul datelor în același context. De exemplu, dacă locuiți într-o țară în care de obicei ninge iarna și vremea este caldă vara, atunci zăpadă abundentă în timpul iernii este normală. Dar experimentarea unei ninsori în timpul verii ar fi o situație anormală.
• Un outlier colectiv este atunci când un subset de puncte de date se abate de la întregul set de date. De exemplu, dacă observați scăderi neobișnuite ale vânzărilor mai multor produse aparent neînrudite, dar apoi vă dați seama că acest lucru este într-un fel conectat, atunci observațiile dvs. sunt combinate într-un singur lucru aberant colectiv.

De ce avem nevoie de AI în detectarea anomaliilor?

Majoritatea companiilor se ocupă cu volume mari de date structurate și nestructurate, acestea din urmă cuprinzând până la 90% din informațiile generate în pereții unei companii. Este imposibil să procesezi manual toate aceste informații și să generezi informații semnificative – mai ales dacă vorbim despre date nestructurate, care sunt alcătuite din imagini, tranzacții, text în formă liberă etc.

Cercetările arată că tehnicile de învățare automată (ML) sunt cea mai bună alegere pentru procesarea seturilor mari de date nestructurate. Acest câmp are un număr mare de algoritmi și puteți selecta ceea ce vi se potrivește cel mai bine. De asemenea, puteți combina mai multe tehnici ML pentru rezultate optime.

Cum funcționează detectarea anomaliilor?

Există trei tipuri principale de tehnici de detectare a anomaliilor bazate pe AI și ML.

• Detectarea anomaliilor supravegheate . Aici, modelele ML sunt antrenate și testate cu un set de date complet etichetat care conține un comportament normal și anormal. Abordarea funcționează bine atunci când detectează abateri care au făcut parte dintr-un set de date de antrenament, dar tehnologia se împiedică atunci când se confruntă cu o nouă anomalie pe care nu a văzut-o la antrenament. Tehnicile supravegheate necesită efort manual și expertiză în domeniu, deoarece cineva trebuie să eticheteze datele.
• Detectarea anomaliilor nesupravegheate . Această metodă nu necesită etichetarea manuală a datelor. Modelele presupun că doar un mic procent de puncte de date care diferă semnificativ de restul datelor constituie anomalii. Tehnicile nesupravegheate pot excela în identificarea de noi anomalii la care nu au fost martori în timpul antrenamentului, deoarece detectează valori aberante pe baza caracteristicilor lor, mai degrabă decât pe ceea ce au învățat în timpul antrenamentului. Cu toate acestea, acești algoritmi sunt destul de complexi, iar arhitectura lor este o cutie neagră, ceea ce înseamnă că utilizatorii nu vor primi o explicație despre modul în care instrumentul a luat deciziile.
• Detectarea anomaliilor semi-supravegheate . Aceste tehnici implică atât date etichetate, cât și neetichetate, ceea ce reduce cheltuielile de adnotare manuală. De asemenea, un model de detectare a anomaliilor semi-supravegheat poate încă să învețe după implementare și să detecteze anomalii pe care nu le-a văzut la antrenament. Ca și în cazul tehnicilor nesupravegheate, aceste modele pot funcționa și cu date nestructurate.

Metode de detectare a anomaliilor bazate pe IA

Detectarea anomaliilor se bazează pe inteligența artificială (AI) și subtipurile acesteia, inclusiv ML. Iată cinci tehnici ML care sunt implementate frecvent în acest context.

Autoencodere

Autoencoderele sunt rețele neuronale artificiale nesupravegheate care comprimă datele și apoi le reconstruiesc pentru a se asemăna cât mai mult cu forma originală. Acești algoritmi pot ignora în mod eficient zgomotul și pot reconstrui textul, imaginile și alte tipuri de date. Un autoencoder are două părți:

• Encoder, care comprimă datele de intrare
• Decodor, care decomprimă datele în apropierea formei originale

Când utilizați un autoencoder, acordați atenție dimensiunii codului, deoarece acesta va determina rata de compresie. Un alt parametru important este numărul de straturi. Cu mai puține straturi, algoritmul va fi mai rapid, dar ar putea funcționa cu mai puține funcții.

Rețele bayesiene

Această tehnică este un tip de model bazat pe grafice probabilistice care calculează probabilitatea pe baza inferenței bayesiene. Nodurile dintr-un grafic corespund unor variabile aleatoare, în timp ce muchiile reprezintă dependențe condiționate care permit modelului să facă inferențe.

Rețelele bayesiene sunt utilizate în diagnosticare, modelare cauzală, raționament și multe altele. În detectarea anomaliilor, această metodă este deosebit de utilă pentru detectarea abaterilor subtile care sunt greu de detectat folosind alte tehnici. Această metodă poate tolera, de asemenea, datele lipsă în timpul antrenamentului și va avea în continuare performanțe solide dacă este antrenat pe seturi de date mici.

Modele bazate pe densitate

Aceasta este o tehnică de grupare ML nesupravegheată care detectează modele bazându-se exclusiv pe locația spațială și distanțele dintre vecini. Acesta compară valoarea densității unui punct de date cu densitatea punctelor de date învecinate. O valoare anormală (o anomalie) va avea o valoare de densitate mai mică decât alte populații de date.

Mașină vectorială de suport (SVM)

Acesta este un algoritm ML supravegheat care este utilizat în mod obișnuit pentru clasificare. Cu toate acestea, extensiile SVM pot funcționa și într-un mediu nesupravegheat. Această tehnică folosește hiperplanuri pentru a împărți punctele de date în clase.

Chiar dacă SVM funcționează de obicei cu două sau mai multe clase, în detectarea anomaliilor, poate analiza probleme cu o singură clasă. Acesta învață „norma” pentru această clasă și determină dacă un punct de date poate aparține acestei clase sau dacă este un outlier.

Modele de amestec gaussien (GMM)

GMM este o tehnică probabilistică de grupare. Această tehnică clasifică datele în diferite grupuri pe baza distribuției probabilităților. Se presupune că punctele de date aparțin unui amestec de distribuții gaussiene cu parametri necunoscuți și detectează anomalii prin reperarea datelor în regiuni cu densitate scăzută.

Cazuri de utilizare cheie pentru detectarea anomaliilor

Acum că știți cum funcționează detectarea anomaliilor în culise și tehnicile AI pe care se bazează, este timpul să studiați câteva exemple de detectare a anomaliilor în diferite industrii.

Detectarea anomaliilor în asistența medicală

Detectarea anomaliilor poate aduce beneficii sectorului medical, ajutând medicii să identifice orice probleme legate de sănătatea pacientului, să detecteze escalade la pacienții internați, să informeze personalul medical înainte de a fi prea târziu și să ajute la diagnosticare și selectarea tratamentului. Toate acestea reduc munca manuală și încărcătura cognitivă pe care o experimentează medicii.

Cu toate acestea, detectarea anomaliilor are provocările sale unice în domeniul sănătății.

O problemă este că poate fi dificil să se stabilească linia de bază (adică, comportamentul normal) atunci când vine vorba de diferite diagrame medicale. De exemplu, o electroencefalogramă a unei persoane sănătoase variază în funcție de caracteristicile individuale. Cercetătorii au identificat variații considerabile la copii și există diferențe la adulți în funcție de grupa de vârstă și de sex.

Un alt aspect este că modelele ML trebuie să fie foarte precise, deoarece viața oamenilor va depinde de performanța lor.

Algoritmii de detectare a anomaliilor medicale pot analiza următoarele informații:

• Semne vitale și alți parametri măsurați de dispozitivele medicale IoT
• Imagini medicale, cum ar fi raze X și tomografii, care prezintă semne de tumori benigne și maligne, infecții și alte afecțiuni de sănătate
• Reclamații de asigurări de sănătate, ajutând la identificarea și blocarea oricărei activități frauduloase. Acest lucru ar putea schimba jocul în asigurările medicale, deoarece până la 10% din cheltuielile anuale cu Medicare și Medicaid sunt îndreptate în prezent către cereri frauduloase.

Un exemplu de detectare a anomaliilor vine de la o echipă de cercetare din Africa de Sud. Au combinat cu succes tehnicile de codificare automată și de creștere a gradientului extrem pentru a monitoriza variabilele fiziologice ale pacienților cu COVID-19 și pentru a detecta orice anomalie care ar indica degradarea sănătății.

O altă echipă s-a concentrat nu numai pe detectarea anomaliilor, ci și pe explicarea de ce instrumentul le-a semnalat ca atare. Așadar, mai întâi, au folosit tehnici de detectare a anomaliilor pentru a identifica abaterile și apoi au implementat algoritmi de extragere a aspectelor pentru a contura un set de caracteristici în care un anumit punct de date este considerat aberant.

Detectarea anomaliilor în divertisment

Mediile sportive și de divertisment se bazează pe o monitorizare extinsă a securității bazată pe video cu sute de camere. Prin urmare, echipele de securitate nu ar fi posibil să detecteze și să reacționeze la accidente la timp dacă filmările ar fi revizuite manual. Datorită ML, algoritmii pot analiza videoclipurile în flux de la fiecare cameră din unitate și pot detecta încălcările de securitate.

Pe măsură ce modelele ML continuă să învețe la locul de muncă, ele ar putea identifica amenințări și încălcări pe care operatorii tăi umani nu le-ar fi putut observa. Acești algoritmi pot detecta vandalismul, tulburările în rândul spectatorilor, fumul, obiectele suspecte și multe altele și pot alerta personalul de securitate, astfel încât să aibă timp să acționeze și să prevină răspunderile și daunele reputației.

Un astfel de proiect iese direct din portofoliul nostru. O companie de divertisment din SUA, cu săli de jocuri situate în toată țara, a apelat la ITRex pentru a construi o soluție de detectare a anomaliilor bazată pe ML, care să se integreze în sistemul lor de supraveghere video bazat pe cloud. Această aplicație ar prinde orice comportament periculos și violent, cum ar fi spargerea sloturilor. De asemenea, ar eficientiza procesul administrativ prin identificarea articolelor uitate și a mașinilor nefuncționale.

Echipa noastră a construit un model ML personalizat folosind un autoencoder variațional. Am agregat un set de date de antrenament de 150 de videoclipuri care descriu violența fizică și daune materiale și am preprocesat aceste videoclipuri cu cadrul OpenCV. Apoi, ne-am bazat pe biblioteca torchvision pentru a normaliza și a mări datele și am folosit-o pentru a antrena algoritmul ML.

Soluția rezultată s-a bazat pe validarea încrucișată pentru a identifica anomaliile. De exemplu, ar putea identifica mașinile de slot care funcționează defectuos „citind” mesajul de eroare de pe ecran și validându-l în raport cu șabloanele de ecran disponibile. Soluția finală s-a integrat perfect în sistemul de securitate bazat pe cloud al clientului, a monitorizat aparatele de joc 24/7 și a notificat personalul de securitate ori de câte ori detecta o anomalie.

Detectarea anomaliilor în producție

Pe măsură ce procesele de producție devin din ce în ce mai automatizate, utilajele devin mai complexe și instalațiile cresc. În consecință, abordările tradiționale de monitorizare nu mai sunt suficiente.

Tehnicile de detectare a anomaliilor pot descrie diferite abateri de la norma la unitatea dvs. și vă pot notifica înainte ca acestea să escaladeze și chiar să învețe să distingă între problemele minore și preocupările presante.

Există numeroase beneficii de detectare a anomaliilor pentru producție. Aceste instrumente pot identifica următoarele probleme:

• Funcționare defectuoasă a echipamentului . În colaborare cu producția de senzori Internet of Things (IoT), algoritmii AI pot monitoriza diverși parametri ai dispozitivului, cum ar fi vibrația, temperatura etc., și pot detecta orice abateri de la normă. Astfel de modificări pot indica faptul că echipamentul este supraîncărcat, dar poate însemna și începutul unei defecțiuni. Algoritmul va semnaliza echipamentul pentru inspecție ulterioară. Aceasta se mai numește și întreținere predictivă.
• Subutilizarea echipamentelor . Soluțiile de detectare a anomaliilor bazate pe ML pot vedea ce dispozitive stau inactiv pentru o perioadă prelungită și îndeamnă operatorul să echilibreze distribuția sarcinii.
• Pericole de siguranță . Prin monitorizarea fluxurilor camerelor de securitate, software-ul de detectare a anomaliilor poate identifica angajații care nu respectă protocoalele de siguranță ale fabricii, punându-le în pericol bunăstarea. Dacă angajații dvs. folosesc echipamente portabile pentru monitorizarea siguranței, ML poate analiza datele senzorilor pentru a identifica lucrătorii epuizați și bolnavi și îi poate încuraja să ia o pauză sau să se deconecteze pentru ziua respectivă.
• Probleme de infrastructură . Algoritmii ML pot detecta scurgerile de apă sau gaz și orice alte daune ale infrastructurii și pot notifica managerul de șantier corespunzător.

Un exemplu de soluție de detectare a anomaliilor de fabricație vine de la Hemlock Semiconductor, un producător din SUA de polisiliciu hiperpur. Compania a implementat detectarea anomaliilor pentru a obține vizibilitate asupra proceselor sale și pentru a înregistra orice abateri de la modelele optime de producție. Compania a raportat că economisește aproximativ 300.000 USD pe lună în consumul de resurse.

Detectarea anomaliilor în retail

Detectarea anomaliilor poate ajuta comercianții cu amănuntul să identifice modele neobișnuite de comportament și să folosească aceste informații pentru a îmbunătăți operațiunile și pentru a-și proteja afacerea și clienții. Algoritmii de inteligență artificială pot ține seama de cerințele în schimbare ale clienților și pot alerta comercianții cu amănuntul să nu mai achiziționeze produse care nu se vor vinde în timp ce reaprovizionează articolele care sunt la cerere. De asemenea, anomaliile pot reprezenta oportunități de afaceri în stadii incipiente, permițând retailerilor să le valorifice înaintea concurenței. În cazul comerțului electronic, proprietarii de site-uri web pot implementa modele de detectare a anomaliilor pentru a monitoriza traficul pentru a identifica un comportament neobișnuit care ar putea semnala activitate frauduloasă.

În plus, comercianții cu amănuntul pot folosi tehnici de detectare a anomaliilor pentru a-și securiza spațiile. La ITRex, am desfășurat o serie de PoC-uri pentru a construi o soluție care poate detecta expresii de violență, cum ar fi luptele, în videoclipurile transmise de camerele de securitate amplasate în centre comerciale și în alte locuri publice. Soluția se bazează pe metoda de detectare a anomaliilor rețelelor neuronale convoluționale 3D, care a fost instruită pe un set extins de date de luptă. Acest tip de algoritm ML este cunoscut că funcționează bine în sarcinile de detectare a acțiunii. Dacă sunteți interesat de o astfel de soluție, vă putem arăta demo-ul complet pentru început. Apoi, echipa noastră va ajusta algoritmul și va ajusta setările acestuia pentru a se potrivi cu specificul locației și afacerii dvs., iar noi îl vom integra fără probleme în sistemul dvs. de securitate existent.

Începeți cu detectarea anomaliilor

După cum puteți vedea, antrenarea modelelor personalizate de AI pentru detectarea la fața locului a anomaliilor poate fi o provocare tehnică. De aceea, echipa noastră a pregătit un ghid în cinci pași pentru companiile care urmăresc noua tehnologie. Derulați în jos pentru câteva sfaturi ale experților și luați în considerare descărcarea ghidului nostru de afaceri pentru AI dacă sunteți nou în AI sau căutați mai multe informații despre aplicațiile AI și costurile proiectelor.

Pasul 1: Stabiliți cum veți aborda detectarea anomaliilor

Există două opțiuni aici. Fie căutați anomalii specifice în datele dvs., fie doriți să semnalați tot ceea ce se abate de la comportamentul standard. Ceea ce alegeți aici va afecta datele dvs. de antrenament și va restricționa selecția tehnicilor AI.

Dacă doriți să capturați fiecare eveniment care se abate de la linia de bază, atunci veți antrena modelul pe un set de date mare care reprezintă un comportament normal. De exemplu, dacă lucrați la conducerea și siguranța în trafic, atunci setul dvs. de date va fi compus din videoclipuri care arată conducerea în siguranță.

Să presupunem că căutați să detectați anumite anomalii - de exemplu, accidente de mașină, dar nu încălcări minore, cum ar fi conducerea printr-o lumină roșie. În acest caz, setul de date de antrenament va include videoclipuri sau imagini cu accidente de mașină.

Pasul 2: Agregați și preprocesați setul de date de antrenament

Rezultatul pasului anterior vă va ajuta să decideți ce tip de date aveți nevoie.

Colectați datele din sursele interne ale companiei sau utilizați seturi de date disponibile public. Apoi, curățați aceste date pentru a elimina duplicatele și orice intrări incorecte sau dezechilibrate. Când setul de date este curățat, puteți utiliza scalarea, normalizarea și alte tehnici de transformare a datelor pentru a face setul potrivit pentru algoritmii AI. Împărțiți setul de date în trei părți:

• Date de instruire pentru a preda modelele
• Date de validare pentru a evalua performanța modelului în timpul antrenamentului
• Date de testare pentru a nota performanța după finalizarea procesului de antrenament

Pentru mai multe informații, consultați ghidul nostru detaliat despre cum să pregătiți datele pentru învățarea automată.

Pasul 3: Alegeți tehnica de detectare a anomaliilor

Acest pas este relevant doar dacă doriți să construiți o soluție personalizată. Dvs. sau furnizorul dvs. de tehnologie veți selecta tehnica AI cea mai potrivită pentru a rezolva problema de afaceri. Există trei factori cheie de luat în considerare aici:

• Sarcina la îndemână (consultați Pasul 1 de mai sus). Dacă doriți să detectați anomalii definite în mod specific, Variational Autoencoder (VAE) este o opțiune excelentă.
• Cerințele tehnice . Aceasta ar putea include nivelurile de acuratețe și detaliu pe care doriți să le atingeți. De exemplu, dacă doriți să antrenați un model ML care detectează anomalii în videoclipuri, este esențial să decideți asupra ratei optime de cadre, deoarece diferiți algoritmi analizează cadrele la viteze diferite. Atâta timp cât anomalia pe care doriți să o detectați poate apărea într-o secundă, se recomandă să studiați fiecare cadru dintr-un videoclip, iar utilizarea unor algoritmi mai lenți, cum ar fi VAE, devine nepractică. Descompunerea valorii singulare (SVD), pe de altă parte, poate face treaba mult mai rapid.
• Dimensiunea setului de date de antrenament . Unele modele, cum ar fi codificatoarele automate, nu pot fi instruite corespunzător pe seturi de date mici.

Pasul 4: Construiește/cumpără și antrenează modelul

Puteți achiziționa fie un software gata de detectare a anomaliilor, fie să implementați un sistem personalizat care să corespundă nevoilor dumneavoastră unice și să fie adaptat tipului de anomalii care vă interesează.

Puteți opta pentru un sistem de detectare a anomaliilor de la raft atunci când aveți resurse financiare limitate, nu aveți un set de date personalizat de instruire sau nu aveți timp pentru instruirea modelului și puteți găsi un furnizor care oferă deja o soluție care poate detecta tipul de anomalii. esti preocupat de. Dar rețineți că aceste soluții au ipoteze încorporate cu privire la caracteristicile datelor și vor funcționa bine atâta timp cât aceste ipoteze sunt valabile. Cu toate acestea, dacă datele companiei dvs. deviază de la acea linie de bază, algoritmul ar putea să nu detecteze anomalii cu aceeași acuratețe.

Dacă aveți suficiente date pentru a antrena algoritmi AI, puteți angaja o companie de dezvoltare ML pentru a construi și a instrui o soluție personalizată de detectare a anomaliilor. Această opțiune va fi concepută pentru a satisface nevoile dvs. de afaceri și pentru a se potrivi proceselor dvs. Un alt avantaj mare este că puteți optimiza această soluție chiar și după implementare. Puteți modifica setările pentru a-l face să funcționeze mai rapid sau să vă concentrați pe diferiți parametri, în funcție de cerințele dvs. de afaceri în schimbare.

Pasul 5: Implementați și monitorizați soluția

Veți implementa soluția de detectare a anomaliilor fie local, fie în cloud. Dacă lucrați cu ITRex, vom avea două opțiuni din care să alegeți:

• Detectarea anomaliilor bazată pe cloud , în care cumulăm datele de la sistemele software, dispozitivele și serviciile de la terți și le transmitem în cloud pentru stocare și procesare, pentru a elimina resursele locale.
• Detectarea anomaliilor de margine , în care algoritmii ML analizează datele dvs. local și încarcă doar o parte a datelor în cloud. Această abordare este cea mai potrivită pentru sistemele critice pentru misiune care nu tolerează întârzieri, cum ar fi vehiculele autonome și soluțiile medicale IoT.

Algoritmii ML continuă să învețe la locul de muncă, ceea ce le permite să se adapteze la noile tipuri de date. Dar asta înseamnă și că pot dobândi părtiniri și alte tendințe nedorite. Pentru a evita acest scenariu, puteți programa un audit pentru a reevalua performanța algoritmilor și a implementa ajustările necesare.

Cum poate ajuta ITRex la detectarea anomaliilor

La ITRex Group, avem o vastă experiență cu modele ML, cum ar fi Autoencoderele Beta-Variational (Beta-VAE) și Gaussian Mixture Models (GMM), IoT, analiza datelor și vizualizarea datelor. Am implementat aceste tehnologii în diferite industrii, așa că suntem conștienți de specificul pe care sectoarele puternic reglementate, cum ar fi asistența medicală, le aduc. Folosim o combinație de tehnologie open-source și proprietară, cum ar fi instrumente de data mining și cadre ML, pentru a dezvolta soluții personalizate și a le integra în procesele dvs. de afaceri.

Soluțiile noastre personalizate bazate pe inteligență artificială pentru detectarea anomaliilor pot funcționa cu ambele sarcini — detectând anomalii predefinite și identificând orice abatere de la comportamentul standard stabilit. Puteți opta pentru cloud pentru a economisi pe infrastructură sau putem face ca sistemul să ruleze local pentru a suporta aplicații critice care nu tolerează latența.

Vă interesează implementarea unui sistem de detectare a anomaliilor? Dă-ne un rând ! Vă putem ajuta să construiți și să instruiți un model ML personalizat. Chiar dacă optați pentru o soluție gata făcută, dacă este open-source și are un API, o putem reinstrui pe propriile date, astfel încât să se potrivească mai bine cu sistemul dumneavoastră!

Publicat inițial la https://itrexgroup.com la 1 august 2023.