De ce este important să cartografiezi dependențele de date și cum să le faci

Nota editorului: acest articol a fost publicat inițial pe blogul Iteratively pe 8 februarie 2021.

La un moment dat, vei lucra cu o stivă tehnologică dezorganizată și dezorganizată. Poate că organizația dvs. a început să folosească produse noi înainte de a lua în considerare modul în care a interacționat cu ceilalți. Sau ai moștenit codul altcuiva. Maparea dependențelor de date vă va arăta dvs. și echipei dvs. cum circulă datele și interacționează cu sistemele din stiva dvs.

Companiile pierd bani din proliferarea datelor și devin mai susceptibile la vulnerabilități de securitate și reglementări costisitoare.

Având o hartă a dependenței de date, nu numai că vă va ajuta să înțelegeți mai bine stiva dvs. de tehnologie, dar vă va permite și să luați decizii mai informate în viitor.

Iată ce puteți face pentru a ajuta la curățarea lucrurilor.

Beneficiile mapării dependenței

La început, ar putea părea multă muncă suplimentară de configurat – și poate fi – dar există motive clare pentru care ar trebui să creați o hartă a dependenței de date.

Hărțile dependenței de date oferă o vedere holistică a datelor dvs., permițând echipelor de date să conceapă planuri de urmărire mai bune. De asemenea, se pot asigura că nu va sparge niciunul dintre sistemele de urmărire atunci când codul de analiză este actualizat sau eliminat. Acest lucru este deosebit de important atunci când schimbați codul la sursă și implicațiile acestuia asupra sistemelor din aval. Urmărirea implicațiilor pe care le-ar putea avea schimbarea asupra sistemelor dependente vă va economisi timp dvs. și echipei dvs., deoarece puteți vedea unde sistemele dependente s-ar putea rupe din cauza modificărilor.

Sună grozav, nu? Există o mulțime de beneficii care vin din realizarea unei hărți a dependenței de date.

O mai bună înțelegere a mediului tehnologic

O hartă bine concepută permite oricui să vadă cu ușurință modul în care sistemele interacționează, ajutându-vă să urmăriți ce sisteme interacționează cu datele și unde se duc datele, pas cu pas.

Acest lucru ajută și la planificarea viitoarelor produse sau componente, deoarece puteți vedea unde pot ajuta la integrarea sau migrarea datelor.

Precizie îmbunătățită

Cartografierea dependențelor de date vă va ajuta să mențineți acuratețea datelor pe măsură ce datele respective se mută de la sursă la destinație. Și asta contribuie mult la construirea încrederii în calitatea centrului dvs. de date.

Oferind echipei dvs. o vedere completă asupra infrastructurii și dependențelor dvs., puteți urmări modul în care funcționează fiecare componentă cu celelalte.

De asemenea, puteți utiliza o hartă a dependenței de date pentru a identifica cauzele principale ale întreruperilor aplicației. Dacă întâmpinați o problemă cu o aplicație, puteți începe de la originea acesteia și puteți trece înapoi de-a lungul hărții pentru a vedea dacă există o anumită cauză principală. Este în infrastructură? O aplicatie? O amenințare exterioară?

Mai ușor de identificat riscurile

Cartografierea dependențelor dvs. de date oferă utilizatorilor o vizibilitate clară asupra stivei dvs. de tehnologie, ceea ce poate ajuta la determinarea posibilelor puncte de eșec care vă pun afacerea în pericol. Dacă este făcută corect, maparea datelor poate fi un instrument eficient pentru organizația dvs., deoarece de obicei ajută o companie în următoarele domenii:

• Calitatea datelor: pe măsură ce volumul surselor de date crește, maparea datelor este mai complexă ca niciodată. Cartografierea dependențelor de date reduce decalajul dintre modelele de date, asigurându-se că factorii de decizie pot analiza când datele sunt mutate în stiva dumneavoastră. ‍
• Atacuri cibernetice și încălcări ale datelor: pe măsură ce companiile obțin informații din date, protejarea informațiilor utilizatorilor a devenit o necesitate. O hartă de date poate ajuta o organizație să identifice unde sunt stocate, procesate și transmise seturile de date cheie. Odată ce organizațiile își dau seama de acest lucru, pot lua măsurile necesare pentru a proteja informațiile sensibile să nu ajungă în mâini greșite.

Ce trebuie luat în considerare înainte de maparea dependenței

Sigur, puteți face o hartă fizică cu note lipicioase, dar există multe instrumente digitale care vă pot ajuta pe dvs. și echipa dvs. să creați o versiune digitală. Dar înainte de a începe cu maparea datelor, există două lucruri pe care ar trebui să le luați în considerare:

În primul rând, determinați direcționalitatea dependenței

Când începeți cu maparea dependenței, este esențial să știți cum vor eșua lucrurile. Determinând unde vor eșua lucrurile, identificați vulnerabilitățile din stiva dumneavoastră. Când puteți identifica eșecurile mai rapid în cadrul organizației dvs., puteți găsi cea mai rapidă modalitate de a rezolva problema în cauză. Acest lucru nu numai că va economisi timp angajaților, ci va economisi și bani organizației pe termen lung.

Nu te complica

Deși hărțile de date ar trebui să fie cuprinzătoare pentru a ține cont de multe surse de date, ele nu ar trebui să fie complicat de înțeles. Hărțile de date ar trebui să conțină informații relevante pentru organizația dvs. și să fie actualizate în mod regulat, dar nu este nevoie să treceți peste bord atunci când vă mapați dependențele. O hartă de date complicată poate fi mai mult dăunătoare decât utilă pentru organizația dvs.

O hartă de date ar trebui să fie suficient de simplă pentru ca un neprofesionist să o înțeleagă, astfel încât data viitoare când va apărea o problemă în stiva dvs., un coleg poate găsi cu ușurință rădăcina problemei și o poate rezolva într-un timp rezonabil.

Cele mai comune trei tehnici de mapare a dependenței de date

În timp ce maparea datelor variază în funcție de complexitatea stivei tehnologice a organizației dvs., aceste trei tehnici de mapare a dependenței de date sunt cele mai comune în rândul companiilor.

1. Cartografiere manuală

Majoritatea sistemelor de date au crescut până la un punct în care acum sunt prea complicate pentru a fi urmărite manual. Cu toate acestea, maparea manuală este un loc minunat de a începe dacă sistemul dvs. de date este mic și nu vă așteptați ca sistemul să crească.

Cu maparea manuală, dezvoltatorii folosesc limbaje precum SQL, C++, XSLT și Java. Deși această soluție necesită multă muncă în avans, se poate face, dar nu va fi la fel de eficientă ca schema sau maparea automată.

2. Maparea schemei

Software-ul de mapare a schemelor compară sursele de date cu schema țintă, generând conexiuni. După ce este finalizat, un dezvoltator trebuie să intre manual în software și să verifice că informațiile sunt corecte și să facă modificări acolo unde este necesar.

Odată ce harta de date este completă, software-ul generează cod pentru a încărca datele. Aceasta este adesea menționată ca o strategie semi-automatizată, deoarece se bazează pe echipe pentru a verifica din nou munca efectuată de software înainte de a merge mai departe.

3. Cartografiere automată

Soluțiile automate au devenit din ce în ce mai populare, deoarece nu necesită experiență de codare. Acești utilizatori de software trage și plasează linii între bazele de date, ceea ce face mai ușoară maparea relațiilor într-un timp rezonabil. În timp ce aceste soluții fac cea mai mare parte a sarcinilor grele, utilizatorii ar face totuși bine să verifice orice erori umane.

Instrumente pentru maparea dependențelor de date

Din fericire, există multe instrumente disponibile care vă pot ajuta atunci când vă mapați dependențele de date. Iată câteva pe care le recomandăm:

• Folia de date: această companie de linie de date ajută companiile să își vizualizeze ecosistemul de date. Acesta asigură companiilor că o modificare a schemei unui tabel nu va afecta funcționalitatea în altă parte. În timp ce compania oferă o versiune gratuită pentru companii, soluția lor plătită oferă diverse beneficii, inclusiv integrarea Slack și asistență live prin chat în produs.
• Monte Carlo: O soluție complet automatizată de generație de date care acoperă întregul dvs. stiva de date, Monte Carlo vă alertează organizația atunci când datele se întrerup. Aceasta înseamnă că puteți remedia problema înainte de a ajunge la utilizatorul final. Este o soluție complet automatizată care acoperă întreaga stivă de date. Monte Carlo este o soluție plătită care permite companiilor să înceapă cu o încercare gratuită.
• Datadog : instrumentul APM al Datadog permite organizațiilor să înțeleagă dependențele de servicii în timp ce le monitorizează în timp real și alertează utilizatorii atunci când un sistem este oprit. Compania oferă o perioadă de încercare gratuită de până la 14 zile.
• Prometheus: Această soluție open-source vă permite să monitorizați performanța aplicației. Soluția este cunoscută pentru fiabilitatea ridicată și timpul de funcționare. Prometheus vă va avertiza cu privire la orice modificări majore de comportament în aplicațiile dvs., astfel încât să puteți investiga imediat cauza.

De ce maparea dependenței de date ar putea fi potrivită pentru dvs

Orice companie care este cu adevărat bazată pe date ar trebui să-și cartografieze dependențele de date. Datele care sunt mapate prost sau deloc mapate vor duce în cele din urmă la probleme în aval, pe măsură ce datele se deplasează de la un capăt la altul în cadrul organizației dvs. Identificarea dependențelor de date este o sarcină înfricoșătoare pentru companii, mai ales atunci când te bazezi pe date pentru a lua decizii de afaceri informate.

Gândiți-vă la maparea dependențelor de date ca la o sarcină pe care o veți mulțumi mai târziu. Nu suntem perfecți – datele se vor rupe la un moment dat, indiferent de cât de perfectă credem că este soluția noastră actuală și știi ce? Este în regulă. Procesul de cartografiere a dependențelor dvs. de date se va asigura că atunci când datele se sparg, nu vor duce la o problemă mai mare în continuare. Faceți-vă timp pentru a vă mapa dependențele de date; vă va economisi mult timp în căutarea a ce alte sisteme au fost afectate de defecțiune. Când este făcută corect, maparea datelor asigură că datele organizației dvs. sunt nu numai corecte, ci și de încredere.

A început organizația dvs. să mapați dependențele dvs. de date? Aveți vreo lecție pe care ați dori să le împărtășiți? Alăturați-vă comunității Amplitude.