데이터 종속성을 매핑하는 것이 중요한 이유와 수행 방법

편집자 주: 이 기사는 원래 2021년 2월 8일 Iteratively 블로그에 게시되었습니다.

언젠가는 지저분하고 무질서한 기술 스택으로 작업하게 될 것입니다. 조직에서 다른 사람과 상호 작용하는 방식을 고려하기 전에 새 제품을 사용하기 시작했을 수 있습니다. 또는 다른 사람의 코드를 물려받았습니다. 데이터 종속성을 매핑하면 데이터가 어떻게 흐르고 스택의 시스템과 상호 작용하는지 귀하와 귀하의 팀에 표시됩니다.

기업은 데이터의 확산으로 인해 손실을 입고 보안 취약성과 비용이 많이 드는 규정에 더 취약해집니다.

데이터 종속성 맵이 있으면 기술 스택을 더 잘 이해하는 데 도움이 될 뿐만 아니라 앞으로 더 많은 정보에 입각한 결정을 내릴 수 있습니다.

청소를 돕기 위해 할 수 있는 일은 다음과 같습니다.

종속성 매핑의 이점

처음에는 설정해야 할 추가 작업이 많은 것처럼 보일 수 있으며 그럴 수도 있지만 데이터 종속성 맵을 만들어야 하는 분명한 이유가 있습니다.

데이터 종속성 맵은 데이터에 대한 전체적인 보기를 제공하여 데이터 팀이 더 나은 추적 계획을 설계할 수 있도록 합니다. 또한 분석 코드가 업데이트되거나 제거될 때 추적 시스템이 중단되지 않도록 할 수 있습니다. 이는 소스에서 코드를 변경하고 다운스트림 시스템에 미치는 영향을 변경할 때 특히 중요합니다. 변경 사항이 종속 시스템에 미칠 수 있는 영향을 추적하면 종속 시스템이 변경으로 인해 중단될 수 있는 위치를 확인할 수 있으므로 귀하와 귀하의 팀 시간을 절약할 수 있습니다.

멋지죠? 데이터 종속성 맵을 만들면 많은 이점이 있습니다.

기술 환경에 대한 더 나은 이해

잘 설계된 맵을 사용하면 시스템이 어떻게 상호 작용하는지 누구나 쉽게 볼 수 있으므로 어떤 시스템이 데이터와 상호 작용하고 데이터가 어디로 가는지 단계별로 추적할 수 있습니다.

이는 데이터 통합 ​​또는 마이그레이션을 지원할 수 있는 위치를 확인할 수 있으므로 향후 제품 또는 구성 요소를 계획하는 데도 도움이 됩니다.

정확도 향상

데이터 종속성을 매핑하면 데이터가 원본에서 대상으로 이동할 때 데이터 정확성을 유지하는 데 도움이 됩니다. 이는 데이터 센터의 품질에 대한 확신을 구축하는 데 큰 도움이 됩니다.

팀에 인프라 및 종속성에 대한 전체 보기를 제공함으로써 각 구성 요소가 다른 구성 요소와 어떻게 작동하는지 추적할 수 있습니다.

데이터 종속성 맵을 사용하여 애플리케이션 중단의 근본 원인을 식별할 수도 있습니다. 응용 프로그램에 문제가 있는 경우 문제가 발생한 위치에서 시작하여 맵을 따라 뒤로 이동하여 특정 근본 원인이 있는지 확인할 수 있습니다. 인프라에 있습니까? 지원서? 외부 위협?

위험 식별 용이

데이터 종속성을 매핑하면 사용자에게 기술 스택에 대한 명확한 가시성을 제공하여 비즈니스를 위험에 빠뜨릴 수 있는 실패 지점을 결정하는 데 도움이 될 수 있습니다. 데이터 매핑이 제대로 수행되면 일반적으로 다음 영역에서 회사에 도움이 되므로 조직에 효과적인 도구가 될 수 있습니다.

• 데이터 품질: 데이터 소스의 양이 증가함에 따라 데이터 매핑이 그 어느 때보다 복잡해졌습니다. 데이터 종속성을 매핑하면 데이터 모델 간의 격차가 줄어들어 의사 결정자가 스택 전체에서 데이터가 이동할 때 분석할 수 있습니다. ‍
• 사이버 공격 및 데이터 유출: 기업이 데이터에서 인사이트를 도출함에 따라 사용자 정보를 보호하는 것이 필수가 되었습니다. 데이터 맵은 조직이 주요 데이터 세트가 저장, 처리 및 전송되는 위치를 식별하는 데 도움이 될 수 있습니다. 조직이 이를 파악하면 민감한 정보가 잘못된 손에 들어가지 않도록 보호하는 데 필요한 조치를 취할 수 있습니다.

종속성 매핑 전에 고려해야 할 사항

물론 스티커 메모로 실제 지도를 만들 수 있지만 귀하와 귀하의 팀이 디지털 버전을 만드는 데 도움이 되는 많은 디지털 도구가 있습니다. 그러나 데이터 매핑을 시작하기 전에 고려해야 할 두 가지 사항이 있습니다.

먼저 종속성의 방향성을 결정합니다.

종속성 매핑을 시작할 때 어떻게 실패할지 아는 것이 중요합니다. 실패할 위치를 결정하여 스택 내의 취약성을 식별합니다. 조직 내에서 장애를 더 빨리 식별할 수 있으면 당면한 문제를 해결하는 가장 빠른 방법을 찾을 수 있습니다. 이렇게 하면 작업자의 시간을 절약할 수 있을 뿐만 아니라 장기적으로 조직의 비용도 절약할 수 있습니다.

간단하게 유지

데이터 맵은 많은 데이터 소스를 설명하기 위해 포괄적이어야 하지만 이해하기 복잡해서는 안 됩니다. 데이터 맵에는 조직과 관련된 정보가 포함되어야 하며 정기적으로 업데이트되어야 하지만 종속성을 매핑할 때 과도하게 사용할 필요는 없습니다. 복잡한 데이터 맵은 조직에 도움이 되기보다는 해로울 수 있습니다.

데이터 맵은 비전문가가 이해할 수 있을 만큼 단순해야 합니다. 그래야 다음 번에 스택에 문제가 있을 때 동료가 쉽게 문제의 원인을 찾고 합리적인 시간 내에 해결할 수 있습니다.

세 가지 가장 일반적인 데이터 종속성 매핑 기술

데이터 매핑은 조직의 기술 스택의 복잡성에 따라 다르지만 이러한 세 가지 데이터 종속성 매핑 기술은 회사에서 가장 일반적입니다.

1. 수동 매핑

대부분의 데이터 시스템은 수동으로 추적하기에는 너무 복잡해졌습니다. 그러나 데이터 시스템이 작고 시스템이 성장할 것으로 예상하지 않는 경우 수동 매핑을 시작하는 것이 좋습니다.

수동 매핑을 통해 개발자는 SQL, C++, XSLT 및 Java와 같은 언어를 사용합니다. 이 솔루션은 선행 작업이 많이 필요하지만 수행할 수는 있지만 스키마나 자동 매핑만큼 효과적이지는 않습니다.

2. 스키마 매핑

스키마 매핑 소프트웨어는 데이터 소스를 대상 스키마와 비교하여 연결을 생성합니다. 이 작업이 완료된 후 개발자는 수동으로 소프트웨어로 이동하여 정보가 올바른지 확인하고 필요한 경우 변경해야 합니다.

데이터 맵이 완료되면 소프트웨어는 데이터를 로드하기 위한 코드를 생성합니다. 이것은 진행하기 전에 소프트웨어가 수행한 작업을 다시 확인하는 팀에 의존하기 때문에 종종 반자동화 전략이라고 합니다.

3. 자동화된 매핑

자동화 솔루션은 코딩 경험이 필요하지 않기 때문에 점점 인기를 얻고 있습니다. 이러한 소프트웨어 사용자는 데이터베이스 사이에 선을 끌어서 놓기 때문에 합리적인 시간 내에 관계를 쉽게 매핑할 수 있습니다. 이러한 솔루션이 대부분의 어려운 작업을 수행하지만 사용자는 여전히 인적 오류를 확인하는 데 적합합니다.

데이터 종속성 매핑 도구

다행히 데이터 종속성을 매핑할 때 도움이 되는 도구가 많이 있습니다. 다음은 몇 가지 권장 사항입니다.

• Datafold: 이 데이터 계보 회사는 기업이 데이터 생태계를 시각화하는 데 도움을 줍니다. 한 테이블의 스키마를 변경해도 다른 곳의 기능에 영향을 미치지 않는다는 것을 회사에 보장합니다. 회사는 기업용 무료 버전을 제공하지만 유료 솔루션은 Slack 통합 및 제품 내 라이브 채팅 지원을 비롯한 다양한 이점을 제공합니다.
• Monte Carlo: 전체 데이터 스택을 포괄하는 완전히 자동화된 데이터 계보 솔루션인 Monte Carlo는 데이터 중단 시 조직에 경고합니다. 즉, 최종 사용자에게 도달하기 전에 문제를 해결할 수 있습니다. 전체 데이터 스택을 포괄하는 완전히 자동화된 솔루션입니다. Monte Carlo는 기업이 무료 평가판으로 시작할 수 있는 유료 솔루션입니다.
• Datadog : Datadog의 APM 도구를 사용하면 조직에서 서비스 종속성을 이해하면서 실시간으로 모니터링하고 시스템이 다운될 때 사용자에게 경고할 수 있습니다. 회사는 최대 14일 동안 무료 평가판을 제공합니다.
• Prometheus: 이 오픈 소스 솔루션을 사용하면 애플리케이션 성능을 모니터링할 수 있습니다. 이 솔루션은 높은 신뢰성과 가동 시간으로 유명합니다. Prometheus는 애플리케이션 동작의 주요 변경 사항에 대해 경고하므로 즉시 원인을 조사할 수 있습니다.

데이터 종속성 매핑이 적합한 이유

진정한 데이터 기반 회사는 데이터 종속성을 매핑해야 합니다. 제대로 매핑되지 않았거나 전혀 매핑되지 않은 데이터는 데이터가 조직 내에서 끝에서 끝까지 이동함에 따라 결국 다운스트림 문제로 이어집니다. 데이터 종속성을 매핑하는 것은 특히 정보에 입각한 비즈니스 결정을 내리기 위해 데이터에 의존하는 경우 비즈니스에게 무서운 작업입니다.

데이터 종속성을 매핑하는 작업을 나중에 감사하게 될 작업으로 생각하십시오. 우리는 완벽하지 않습니다. 현재 솔루션이 얼마나 완벽하다고 생각하는지에 관계없이 데이터는 어느 시점에서 깨질 수밖에 없습니다. 괜찮아. 데이터 종속성을 매핑하는 프로세스는 데이터가 손상될 때 더 큰 문제로 이어지지 않도록 합니다. 시간을 내어 데이터 종속성을 매핑하십시오. 실패로 인해 영향을 받은 다른 시스템을 찾는 데 많은 시간을 절약할 수 있습니다. 올바르게 완료되면 데이터 매핑을 통해 조직의 데이터가 올바르고 신뢰할 수 있습니다.

조직에서 데이터 종속성 매핑을 시작했습니까? 공유하고 싶은 교훈이 있습니까? 진폭 커뮤니티에 가입하세요.