Warum es wichtig ist, Datenabhängigkeiten abzubilden und wie man es macht

Anmerkung der Redaktion: Dieser Artikel wurde ursprünglich am 8. Februar 2021 im Iteratively-Blog veröffentlicht.

Irgendwann werden Sie mit einem chaotischen, unorganisierten Tech-Stack arbeiten. Vielleicht hat Ihr Unternehmen damit begonnen, neue Produkte zu verwenden, bevor es darüber nachgedacht hat, wie es mit anderen interagiert. Oder Sie haben den Code einer anderen Person geerbt. Die Zuordnung von Datenabhängigkeiten zeigt Ihnen und Ihrem Team, wie Daten fließen und mit den Systemen in Ihrem Stack interagieren.

Unternehmen verlieren Geld durch die Verbreitung von Daten und werden anfälliger für Sicherheitslücken und kostspielige Vorschriften.

Eine Datenabhängigkeitskarte hilft Ihnen nicht nur, Ihren Tech-Stack besser zu verstehen, sondern ermöglicht es Ihnen auch, fundiertere Entscheidungen für die Zukunft zu treffen.

Hier ist, was Sie tun können, um beim Aufräumen zu helfen.

Die Vorteile der Abhängigkeitszuordnung

Auf den ersten Blick mag die Einrichtung wie eine Menge zusätzlicher Arbeit erscheinen – und das kann es auch sein –, aber es gibt klare Gründe, warum Sie eine Datenabhängigkeitskarte erstellen sollten.

Datenabhängigkeitskarten bieten eine ganzheitliche Sicht auf Ihre Daten, sodass Datenteams bessere Tracking-Pläne entwerfen können. Sie können auch sicherstellen, dass keines der Tracking-Systeme beschädigt wird, wenn der Analysecode aktualisiert oder entfernt wird. Dies ist besonders wichtig, wenn Sie Code an der Quelle und dessen Auswirkungen auf nachgelagerte Systeme ändern. Das Nachverfolgen der Auswirkungen, die Änderungen auf abhängige Systeme haben könnten, spart Ihnen und Ihrem Team Zeit, da Sie sehen können, wo abhängige Systeme aufgrund von Änderungen beschädigt werden könnten.

Klingt toll, oder? Es gibt viele Vorteile, die sich aus der Erstellung einer Datenabhängigkeitskarte ergeben.

Besseres Verständnis des Technologieumfelds

Eine gut gestaltete Karte ermöglicht es jedem, leicht zu sehen, wie die Systeme interagieren, und hilft Ihnen, Schritt für Schritt zu verfolgen, welche Systeme mit Daten interagieren und wohin die Daten gehen.

Dies hilft auch bei der Planung zukünftiger Produkte oder Komponenten, da Sie sehen können, wo sie bei der Datenintegration oder -migration helfen können.

Verbesserte Genauigkeit

Die Zuordnung Ihrer Datenabhängigkeiten hilft Ihnen, die Datengenauigkeit aufrechtzuerhalten, wenn diese Daten von der Quelle zum Ziel verschoben werden. Und das trägt wesentlich dazu bei, Vertrauen in die Qualität Ihres Rechenzentrums aufzubauen.

Indem Sie Ihrem Team einen vollständigen Überblick über Ihre Infrastruktur und Abhängigkeiten geben, können Sie verfolgen, wie jede Komponente mit den anderen zusammenarbeitet.

Sie können auch eine Datenabhängigkeitskarte verwenden, um die Hauptursachen für Anwendungsunterbrechungen zu identifizieren. Wenn Sie ein Problem mit einer Anwendung haben, können Sie dort beginnen, wo es entstanden ist, und sich entlang der Karte zurückbewegen, um zu sehen, ob es eine bestimmte Grundursache gibt. Liegt es an der Infrastruktur? Eine Bewerbung? Eine Bedrohung von außen?

Risiken leichter erkennen

Durch die Darstellung Ihrer Datenabhängigkeiten erhalten Benutzer einen klaren Einblick in Ihren Tech-Stack, was dazu beitragen kann, mögliche Fehlerpunkte zu ermitteln, die Ihr Unternehmen gefährden. Bei richtiger Durchführung kann die Datenzuordnung ein effektives Werkzeug für Ihr Unternehmen sein, da sie einem Unternehmen typischerweise in den folgenden Bereichen hilft:

• Datenqualität: Da die schiere Menge an Datenquellen zunimmt, ist die Datenzuordnung komplexer denn je. Die Abbildung von Datenabhängigkeiten schließt die Lücke zwischen Datenmodellen und stellt sicher, dass Entscheidungsträger analysieren können, wann Daten in Ihrem Stack verschoben werden. ‍
• Cyberangriffe und Datenschutzverletzungen: Da Unternehmen Erkenntnisse aus Daten gewinnen, ist der Schutz der Benutzerinformationen zu einem Muss geworden. Eine Datenkarte kann einer Organisation dabei helfen, festzustellen, wo wichtige Datensätze gespeichert, verarbeitet und übertragen werden. Sobald Unternehmen dies herausgefunden haben, können sie die notwendigen Schritte unternehmen, um zu verhindern, dass sensible Informationen in die falschen Hände geraten.

Was vor dem Abhängigkeitsmapping zu beachten ist

Sicher, Sie können eine physische Karte mit Haftnotizen erstellen, aber es gibt viele digitale Tools, die Ihnen und Ihrem Team helfen können, eine digitale Version zu erstellen. Bevor Sie jedoch mit der Datenzuordnung beginnen, sollten Sie zwei Dinge beachten:

Bestimmen Sie zunächst die Richtung der Abhängigkeit

Wenn Sie mit der Zuordnung von Abhängigkeiten beginnen, ist es wichtig zu wissen, wie die Dinge fehlschlagen werden. Indem Sie feststellen, wo Dinge fehlschlagen, identifizieren Sie Schwachstellen in Ihrem Stack. Wenn Sie Fehler in Ihrem Unternehmen schneller identifizieren können, finden Sie den schnellsten Weg zur Lösung des vorliegenden Problems. Dadurch sparen Ihre Mitarbeiter nicht nur Zeit, sondern langfristig auch Geld für Ihr Unternehmen.

Halte es einfach

Obwohl Datenzuordnungen umfassend sein sollten, um viele Datenquellen zu berücksichtigen, sollten sie nicht kompliziert zu verstehen sein. Datenzuordnungen sollten Informationen enthalten, die für Ihr Unternehmen relevant sind, und regelmäßig aktualisiert werden, aber Sie müssen es nicht übertreiben, wenn Sie Ihre Abhängigkeiten abbilden. Eine komplizierte Datenkarte kann für Ihr Unternehmen eher schädlich als hilfreich sein.

Eine Datenkarte sollte einfach genug sein, damit ein Laie sie verstehen kann, damit ein Kollege das nächste Mal, wenn es ein Problem in Ihrem Stack gibt, die Wurzel des Problems leicht finden und es in angemessener Zeit lösen kann.

Die drei gängigsten Datenabhängigkeits-Mapping-Techniken

Während die Datenzuordnung je nach Komplexität des Tech-Stacks Ihres Unternehmens variiert, sind diese drei Datenabhängigkeits-Mapping-Techniken in Unternehmen am weitesten verbreitet.

1. Manuelle Zuordnung

Die meisten Datensysteme sind so weit gewachsen, dass sie zu kompliziert sind, um sie manuell zu verfolgen. Die manuelle Zuordnung ist jedoch ein guter Ausgangspunkt, wenn Ihr Datensystem klein ist und Sie nicht erwarten, dass Ihr System wächst.

Bei der manuellen Zuordnung verwenden Entwickler Sprachen wie SQL, C++, XSLT und Java. Diese Lösung erfordert zwar im Vorfeld viel Arbeit, ist aber machbar, aber nicht so effektiv wie ein Schema oder eine automatisierte Zuordnung.

2. Schema-Mapping

Schema-Mapping-Software vergleicht Datenquellen mit dem Zielschema und generiert Verbindungen. Nachdem dies abgeschlossen ist, muss ein Entwickler manuell in die Software gehen und überprüfen, ob die Informationen korrekt sind, und gegebenenfalls Änderungen vornehmen.

Sobald die Datenzuordnung vollständig ist, generiert die Software Code zum Laden der Daten. Dies wird oft als halbautomatische Strategie bezeichnet, da es darauf angewiesen ist, dass Teams die von der Software geleistete Arbeit noch einmal überprüfen, bevor sie fortfahren.

3. Automatisierte Zuordnung

Automatisierte Lösungen werden immer beliebter, da sie keine Programmiererfahrung erfordern. Diese Softwarebenutzer ziehen Linien zwischen Datenbanken per Drag-and-Drop, was es einfacher macht, Beziehungen in angemessener Zeit abzubilden. Während diese Lösungen den Großteil der Schwerarbeit erledigen, täten Benutzer dennoch gut daran, nach menschlichen Fehlern zu suchen.

Werkzeuge zur Abbildung von Datenabhängigkeiten

Glücklicherweise stehen viele Tools zur Verfügung, die Ihnen beim Aufzeigen Ihrer Datenabhängigkeiten helfen können. Hier sind einige, die wir empfehlen:

• Datafold: Dieses Data-Lineage-Unternehmen hilft Unternehmen, ihr Datenökosystem zu visualisieren. Es versichert Unternehmen, dass eine Änderung am Schema einer Tabelle die Funktionalität an anderer Stelle nicht beeinträchtigt. Während das Unternehmen eine kostenlose Version für Unternehmen anbietet, bietet seine kostenpflichtige Lösung verschiedene Vorteile, einschließlich Slack-Integration und Live-Chat-Support im Produkt.
• Monte Carlo: Monte Carlo ist eine vollständig automatisierte Datenherkunftslösung, die Ihren gesamten Datenstapel abdeckt, und warnt Ihr Unternehmen, wenn Datenverluste auftreten. Das bedeutet, dass Sie das Problem beheben können, bevor es den Endbenutzer erreicht. Es ist eine vollautomatische Lösung, die Ihren gesamten Datenstapel abdeckt. Monte Carlo ist eine kostenpflichtige Lösung, die es Unternehmen ermöglicht, mit einer kostenlosen Testversion zu beginnen.
• Datadog : Das APM-Tool von Datadog ermöglicht es Unternehmen, Dienstabhängigkeiten zu verstehen, sie in Echtzeit zu überwachen und Benutzer zu warnen, wenn ein System ausfällt. Das Unternehmen bietet eine kostenlose Testversion für bis zu 14 Tage an.
• Prometheus: Mit dieser Open-Source-Lösung können Sie die Anwendungsleistung überwachen. Die Lösung ist bekannt für ihre hohe Zuverlässigkeit und Verfügbarkeit. Prometheus warnt Sie bei größeren Verhaltensänderungen in Ihren Anwendungen, sodass Sie die Ursache sofort untersuchen können.

Warum Data Dependency Mapping das Richtige für Sie sein könnte

Jedes Unternehmen, das wirklich datengesteuert ist, sollte seine Datenabhängigkeiten darstellen. Daten, die schlecht oder gar nicht zugeordnet sind, führen schließlich zu nachgelagerten Problemen, wenn Daten innerhalb Ihres Unternehmens von Ende zu Ende übertragen werden. Die Zuordnung Ihrer Datenabhängigkeiten ist eine beängstigende Aufgabe für Unternehmen, insbesondere wenn Sie sich auf Daten verlassen, um fundierte Geschäftsentscheidungen zu treffen.

Betrachten Sie die Abbildung Ihrer Datenabhängigkeiten als eine Aufgabe, für die Sie sich später bedanken werden. Wir sind nicht perfekt – Daten werden irgendwann kaputt gehen, unabhängig davon, wie fehlerfrei wir unsere aktuelle Lösung finden, und wissen Sie was? Das ist in Ordnung. Der Prozess der Abbildung Ihrer Datenabhängigkeiten stellt sicher, dass Datenverluste später nicht zu größeren Problemen führen. Nehmen Sie sich die Zeit, Ihre Datenabhängigkeiten abzubilden; Dadurch sparen Sie viel Zeit bei der Suche nach anderen Systemen, die von dem Ausfall betroffen waren. Bei korrekter Durchführung stellt die Datenzuordnung sicher, dass die Daten Ihres Unternehmens nicht nur korrekt, sondern auch zuverlässig sind.

Hat Ihr Unternehmen damit begonnen, Ihre Datenabhängigkeiten abzubilden? Haben Sie Lektionen, die Sie teilen möchten? Treten Sie der Amplitude-Community bei.