Что такое миграция данных и как ее осуществить?

Опубликовано: 2023-12-14

Давно известно, что данные являются одним из крупнейших, если не самым большим, активом буквально любого бизнеса или организации. Это послание не ново и вряд ли нуждается в дальнейшей разработке, поскольку все больше и больше организаций, больших и малых, осознают истинную ценность данных и стремятся использовать их преобразующую силу. Только в 2023 году 91,9% организаций получили измеримую ценность для бизнеса от инвестиций в данные и аналитику.

В какой-то момент компании, в значительной степени полагающиеся на свои данные для принятия стратегических решений, сталкиваются с необходимостью переноса своих бизнес-данных либо в рамках усилий по оптимизации производительности, либо в рамках крупномасштабного проекта цифровой трансформации. Причины, по которым компаниям может потребоваться миграция данных и обращение за помощью к консультантам по миграции данных, варьируются от случая к случаю.

В этом сообщении блога мы собираемся определить, что такое миграция данных, когда она необходима и какие шаги составляют надежную стратегию миграции данных. Кроме того, мы раскроем некоторые ключевые проблемы и риски, с которыми предприятия могут столкнуться при миграции данных, а также поделимся некоторыми практическими советами и рекомендациями от ITRex о том, как с ними справиться. Продолжайте читать.

Что такое миграция данных?

В широком смысле миграция данных означает перемещение данных между ИТ-системами. В частности, миграция данных — это процесс переноса данных из одного типа хранилища в другой или из одного приложения в другое, обычно обусловленный внедрением нового приложения или программного обеспечения.

Но прежде чем мы углубимся в особенности миграции данных, очень важно объяснить разницу между миграцией данных, интеграцией данных и репликацией данных, которые при ошибке могут трактоваться как взаимозаменяемые и сгруппированы вместе. Хотя все они связаны с перемещением данных, эти термины совершенно разные, поскольку служат разным целям. Итак, давайте определимся со значением этих терминов.

В то время как миграция данных предполагает работу с внутренней информацией, интеграция данных относится к процессу объединения данных, находящихся в разнородных внутренних и внешних источниках, в единое хранилище данных или базу данных. Это сделано для обеспечения единого представления всех критически важных для бизнеса данных на предприятии. Но на этом различия не заканчиваются. Хотя миграция данных — это разовое действие, которое заканчивается, когда все данные достигают целевого местоположения, интеграция данных может быть непрерывным процессом. Этот непрерывный процесс позволяет данным постоянно передаваться туда и обратно в режиме реального времени, что помогает ускорить аналитику, обеспечить надежное и обоснованное принятие решений и поддержать повседневные операции.

Репликация данных, в отличие от однократного процесса миграции, подразумевает постоянный процесс создания нескольких копий данных либо в реальном времени, пакетами по расписанию, либо по требованию, и хранения их в нескольких местах. Этот подход обеспечивает быстрое и эффективное восстановление данных после сбоев, обеспечивает более быстрый доступ к данным, повышает доступность данных и помогает оптимизировать производительность сервера. Более того, в процессе репликации исходное хранилище никогда не удаляется и не покидается. Напротив, миграция данных подразумевает вывод из эксплуатации исходной базы данных после того, как данные были перенесены в целевую систему хранения.

Когда требуется миграция данных?

Теперь, когда мы дали вам краткое определение миграции данных и объяснили, чем она отличается от процессов интеграции и репликации, давайте рассмотрим причины, по которым компаниям может потребоваться миграция данных.

Ниже приведен список наиболее распространенных сценариев, когда требуется миграция данных.

Обновление или замена устаревшего программного обеспечения и систем баз данных, которым могут быть десятилетия.
Консолидация бизнес-данных из нескольких разрозненных источников в централизованное хранилище для устранения разрозненности данных и получения единого 360-градусного обзора информации в масштабе всего предприятия.
Реструктуризация и расширение бизнеса, например слияния, поглощения или продажи активов, которые могут потребовать консолидации или разделения данных.
Переход на облачное хранилище для достижения масштабируемости и безопасности, а также снижения затрат, связанных с локальным хранением данных.
Внедрение новых технологий, таких как анализ больших данных, Интернет вещей, машинное обучение и т. д., которые требуют других возможностей хранения и обработки данных.
Обеспечение соблюдения постоянно растущего числа законов и правил о конфиденциальности данных – например, локализация регулируемых данных до того, как они покинут свою страну в соответствии с законами о локализации данных, или перемещение данных в связи с изменением правил резидентства.

Какова бы ни была причина, миграция данных — дело непростое, если не сказать рискованное, иногда с неопределенным результатом. Однако отказ от миграции часто оказывается еще более рискованным. Чтобы снизить риски и упростить миграцию данных, вы можете привлечь надежного и опытного партнера, который возьмет на себя всю тяжелую работу.

Типы миграции данных

Миграция данных бывает нескольких типов, которые, в свою очередь, могут перекрываться в зависимости от конкретных бизнес-требований, систем и задействованных данных. Вот краткое изложение наиболее распространенных сценариев миграции данных.

Миграция хранилища

Являясь самым базовым типом миграции данных, миграция хранилища реализует весь спектр сценариев миграции, таких как переход с локальных серверов на облачное хранилище, переключение от одного поставщика облачного хранилища к другому или миграция данных из региональных центров обработки данных в другие. центральный дата-центр.

Миграция базы данных

Учитывая, что управление базами данных осуществляется через системы управления базами данных (СУБД), миграция баз данных обычно означает либо переход от одной СУБД к другой (гетерогенная миграция), либо обновление до более новой версии той же СУБД (так называемая гомогенная миграция). Примером первого является переход с MySQL на PostgreSQL или с базы данных Oracle на MongoDB.

Миграция приложений

Миграция приложения означает перемещение приложения из одной вычислительной среды в другую. Это всего лишь тот тип миграции, который может сочетать в себе несколько других. Некоторыми примерами этого сценария миграции могут быть перемещение локального приложения управления взаимоотношениями с клиентами (CRM) в облачное решение Salesforce или миграция монолитного приложения электронной коммерции на набор микросервисов.

Облачная миграция

Ключевым аспектом миграции в облако является перемещение данных из локальной службы базы данных в облако, а также между различными облачными средами, например миграция с локального сервера Microsoft SQL Server в базу данных SQL Microsoft Azure.

Миграция бизнес-процессов

Этот тип миграции данных, связанный с крупномасштабной инициативой по реинжинирингу бизнес-процессов, влечет за собой перенос приложений и критически важных для бизнеса данных, таких как бизнес-показатели, процессы или операционная информация, в новую среду.

Подходы к миграции данных

Хотя существует несколько способов разработки стратегии миграции данных, большинство подходов в основном попадают в одну из двух наиболее распространенных категорий, каждая из которых имеет свой набор сильных сторон и ограничений. Вот они.

Миграция Большого Взрыва

При миграции Big Bang весь ресурс данных переносится из исходной системы в целевую среду за одно действие. Хотя это может занять некоторое время, для пользователей это похоже на избавление от старой системы и запуск новой в один момент времени, что сродни Большому взрыву, отсюда и название.

С другой стороны, подход Big Bang позволяет перейти на новую систему в кратчайшие сроки, тем самым избавляя от необходимости одновременного использования устаревшей системы и новой базы данных.

С другой стороны, миграция Big Bang часто требует простоя системы, а это означает, что система остается недоступной для своих пользователей до тех пор, пока данные подвергаются преобразованию и перемещаются в целевую систему хранения. Имея это в виду, такие миграции необходимо выполнять в нерабочее время или в непиковое время, например, в выходные или праздничные дни, когда пользователи не должны использовать систему. Кроме того, гигабайты и терабайты данных, накопленные в исходной системе, могут вызвать перегрузку сети во время передачи, что может привести к потере данных или, в лучшем случае, к замедлению передачи данных. Следовательно, внедрение Big Bang может подойти небольшим компаниям, которые не генерируют большие наборы данных и могут позволить себе простои.

Капельная миграция

Как следует из названия, подход «Trickle Migration», напротив, заключается в переносе данных меньшими, управляемыми порциями. Стратегия позволяет одновременно запускать как устаревшую, так и целевую систему, пока бизнес не будет готов к окончательному переходу на новую. Это помогает исключить простои и уменьшить проблемы с перегрузкой сети, тем самым снижая вероятность ошибок или неожиданных сбоев. Миграция данных происходит постоянно в фоновом режиме, что особенно важно для систем, которым необходимо сохранять работоспособность во время передачи данных.

Однако, в отличие от стратегии «Большого взрыва», итеративная миграция — это трудоемкий и ресурсоемкий процесс как с точки зрения планирования, так и с точки зрения выполнения. Команда миграции должна следить за тем, чтобы целевая система оставалась синхронизированной с исходной системой, а также выполнять непрерывную проверку и тестирование данных, чтобы обеспечить согласованность и целостность данных на протяжении всего процесса миграции. В этом отношении выбор метода «ручной миграции» может быть лучшим вариантом для организаций, которые работают с большими наборами данных и имеют низкую устойчивость к простоям.

Процесс миграции данных: как сделать это без проблем

Теперь, когда у вас есть полное понимание того, что означает миграция данных, ее типы, важность и подходы, пришло время углубиться в особенности процесса миграции данных.

Каким бы ни был подход, каждый проект миграции данных проходит одни и те же ключевые этапы. На высоком уровне эти этапы обычно включают планирование перед миграцией, реализацию и аудит после миграции. Каждый этап, в свою очередь, можно подразделить на ряд этапов исходя из конкретных потребностей и требований бизнеса. Ниже приведен обзор основных шагов для правильной миграции данных.

Планирование

Тщательное стратегическое планирование является ключом к успешному проекту миграции данных. Обычно все начинается с оценки существующих наборов данных и составления четкого плана — вы должны иметь четкое представление о том, какие данные необходимо перенести, куда их нужно направить и как вы их туда доставите. Этап планирования может также включать следующие шаги.

Изучите исходные данные и определите формат данных, их расположение, структуру и атрибуты.
Выберите подходящее целевое решение для хранения данных и проанализируйте целевую систему, чтобы выяснить, вписываются ли исходные данные в новую среду и что необходимо реструктурировать, чтобы соответствовать спецификациям целевого хранилища.
Выберите наиболее подходящий подход к миграции данных (Большой взрыв или Ручей).
Выделите наиболее подходящие ресурсы, установите бюджет и определите сроки передачи данных.
Аудит данных

Перед миграцией данных крайне важно провести полный аудит перемещаемых данных. Аудит данных направлен на обнаружение проблем с качеством данных, таких как повторяющиеся записи, неточности или несоответствия, и их устранение перед тем, как приступить к работе, чтобы гарантировать, что в новую систему передаются только высококачественные данные. Именно здесь могут оказаться весьма полезными готовые решения по обеспечению качества данных.

Удаление устаревших данных

Определите и удалите неиспользуемые или устаревшие объекты, которым не обязательно быть в новой системе. Удаление устаревших данных может сделать миграцию более гладкой, а также позволит вашей команде работать с чистым набором данных после миграции.

Резервное копирование данных

Хотя технически это не обязательно, резервное копирование данных (желательно в нескольких местах) представляет собой лучший метод при реализации миграции. Это обеспечит дополнительный уровень защиты в случае сбоя миграции.

Проектирование миграции

Здесь вы подробно описываете процесс миграции — т.е. настраиваете целевую среду, выполняете тщательное сопоставление данных, определяете правила миграции и тестирования, записываете критерии приемки, назначаете роли и обязанности миграции, а также указываете технологии и методы миграции данных.

Что касается последнего, то существует несколько методов миграции данных, позволяющих перенести данные из источника в целевую систему. Примерами являются миграция физических хранилищ, резервное копирование и восстановление, копирование 1:1 (пакетное EL) или технология ETL (что означает «Извлечение, Преобразование, Загрузка») и другие. Что касается инструментов миграции данных, то наиболее распространенными из них являются служба миграции баз данных AWS, Azure Data Box, Apache NiFi или пользовательские сценарии Python для конкретных и сложных задач миграции.

Выполнение и тестирование

Именно здесь происходит миграция. Надежный процесс миграции данных требует регулярного тестирования, чтобы гарантировать, что данные преобразуются и загружаются в соответствии со спецификациями. По мере перемещения данных крайне важно тестировать и повторно тестировать перенесенные данные, чтобы убедиться в их полноте, точности и надежности. Частое или непрерывное тестирование абсолютно необходимо, чтобы увидеть, есть ли какие-либо признаки сбоя и простоя исходной системы, и устранить проблемы как можно скорее.

Постмиграционный аудит

После завершения реализации крайне важно провести аудит результатов миграции, чтобы подтвердить, были ли данные безопасно перемещены в целевую инфраструктуру и являются ли они полными и жизнеспособными. Как только новая система будет запущена и будет работать без сбоев, вы сможете безопасно вывести старую среду из эксплуатации.

Проблемы миграции данных: на что обратить внимание

Как только вы осознаете, что миграция данных необходима вашему бизнесу в рамках проекта модернизации, крайне важно иметь четкое представление о том, какие проблемы могут возникнуть на вашем пути.

Миграция может быть одной из самых сложных и сложных частей реализации, поскольку существует ряд проблем, которые могут помешать процессу миграции данных. Учтите следующее: по данным Gartner, более 83% проектов по миграции данных либо терпят неудачу, либо превышают свои бюджеты и графики. В большинстве случаев это происходит потому, что организации пренебрегают рисками или недооценивают усилия, необходимые для успешного процесса миграции данных, рассматривая миграцию данных как не что иное, как перемещение из точки А в точку Б. Чтобы ваши усилия по миграции данных не пропали даром, необходимо настоятельно рекомендуется обратить внимание на риски и проблемы, связанные с миграцией данных, прежде чем приступать к инициативе по миграции данных. Вот список ключевых соображений.

Операционные сбои и простои

Когда дело доходит до миграции данных, может быть довольно сложно обеспечить непрерывность бизнеса, поскольку организациям приходится балансировать между необходимостью обеспечения целостности данных и необходимостью поддержания работоспособности систем. Это особенно актуально для компаний, генерирующих большие объемы данных, которые не могут позволить себе простоев. Несмотря на неизбежные, но запланированные простои, как в случае с подходом миграции данных «Большого взрыва», ваши бизнес-процессы могут неожиданно остановиться из-за сбоев передачи, проблем с производительностью приложений или множества других чрезвычайных ситуаций, которые вы не смогли запланировать на момент запуска. начальный этап.

Недооценка затрат

Бюджетирование может повлиять на успех или провал вашей инициативы по переносу данных. Именно недооценка затрат ставит под угрозу проекты миграции данных. Если вы не учтете все аспекты реализации миграции данных, включая скрытые косвенные затраты, например, связанные с незапланированными простоями или аварийными ситуациями, вы можете оказаться в ситуации, когда неожиданно выйдете далеко за пределы указанного бюджета. По данным Gartner, в проектах миграции данных перерасход средств составляет в среднем 30%.

Плохое сопоставление данных

Поля данных в устаревшей системе могут не синхронизироваться с полями в новой системе из-за различий в архитектуре базы данных. Таким образом, простая попытка сопоставить поля и вставить данные в целевую систему может иметь свои последствия. Неполное или неточное сопоставление данных может привести к тому, что определенные элементы данных будут помещены в неправильные поля, что может потребовать значительного времени и усилий для регулярных обновлений и перераспределения полей.

Безопасность данных и соответствие требованиям

Обеспечение соблюдения законодательства и защита конфиденциальных данных во время миграции усложняют проект. Имея дело с личными данными клиентов, вы должны понимать и искать способы соблюдения правил конфиденциальности и защиты данных, которые различаются в зависимости от региона. Дело в том, что в США нет комплексного федерального законодательства о защите данных. Вместо этого правила сильно различаются в разных штатах и отраслях. Напротив, в Европейском Союзе данные защищены Общим регламентом защиты данных (GDPR). Эта единая система правил конфиденциальности данных налагает строгие обязательства на владельцев данных и запрещает передачу личных данных в третьи страны, в которых отсутствуют адекватные меры защиты данных. Эти переводы могут осуществляться только в том случае, если Европейская комиссия вынесет решение об адекватности.

Следовательно, поиск способов предотвращения нарушений GDPR становится главной проблемой, когда речь идет о трансатлантическом потоке данных, поскольку эти нарушения могут повлечь за собой санкции, как это было в случае с технологическим гигантом Meta, который был оштрафован на рекордный штраф GDPR в размере 1,3 миллиарда долларов США. — крупнейший в истории GDPR.

Устойчивость к изменению

Крупномасштабная миграция данных одновременно создает целую вселенную изменений, что всегда расстраивает пользователей системы. Привыкнув выполнять запросы к существующим базам данных, пользователям может быть сложно адаптироваться к новой среде и изменениям форматов данных, что часто проявляется в сопротивлении изменениям.

Лучшие практики миграции данных от команды ITRex

Ниже приведены некоторые четкие рекомендации консультантов ITRex по большим данным, которые помогут вам справиться с рисками и проблемами миграции данных, перечисленными выше:

Планируйте сбои, чтобы минимизировать время простоя или смягчить его последствия в случае его возникновения. Да, вы правильно поняли. Вы наверняка хотите знать, как продолжать идти вперед при любых обстоятельствах, не так ли? Вот почему ключевым моментом является построение надежной стратегии, готовой к сбоям. Разработка конкретного плана обеспечения непрерывности бизнеса, описывающего ряд сценариев стихийных бедствий и способов восстановления, — это верный способ защитить ваши бизнес-операции от длительных сбоев и помочь им вернуться в строй в кратчайшие сроки. Что касается неизбежных простоев, то их правильное планирование в удобное для организации время — отличный способ обеспечить плавную миграцию данных, сводя при этом к минимуму вероятность неожиданных проблем или незапланированного замедления работы.
Точно оцените затраты на миграцию данных, уделяя особое внимание потенциальным скрытым затратам. К ним относятся затраты на управление зависимостями приложений, найм внешних подрядчиков, проведение дополнительных циклов тестирования и решение проблем с качеством данных. Использование дублирующих версий одной и той же системы, а также потери производительности и проблемы после миграции также могут существенно увеличить затраты. В совокупности эти факторы в долгосрочной перспективе приводят к перерасходу бюджета.
Прежде чем писать сценарии сопоставления, важно профилировать все исходные данные, чтобы определить их структуру, качество и взаимосвязи. Выполнение комплексного сопоставления данных от источника к месту назначения перед загрузкой данных является важным шагом для обеспечения точного размещения всех данных.
При переносе конфиденциальных данных критически важными становятся вопросы безопасности и конфиденциальности данных. Обеспечьте безопасную обработку конфиденциальных данных как при передаче, так и в новой среде. Возможно, вы захотите применить методы шифрования, анонимизации или маскировки данных для защиты конфиденциальных данных на протяжении всего процесса миграции. Кроме того, обязательно согласуйте миграцию данных с соответствующими правилами защиты данных, такими как GDPR или отраслевые рекомендации.
Хотя это часто упускается из виду, индивидуальное обучение пользователей, основанное на ролях и обязанностях, может существенно изменить процесс и результаты миграции данных. Выделение достаточного времени и бюджета на переквалификацию существующих команд способствует более плавному переходу во время и после миграции данных, обеспечивает признание пользователей и помогает минимизировать сбои в работе. Хорошей практикой является заранее инициировать информирование о предстоящей миграции данных и практических занятиях, чтобы дать пользователям возможность принять изменения задолго до того, как произойдет фактическая миграция данных. Такое общение также может помочь им лучше подготовиться к лучшему пониманию и действиям в новой среде.

Вот еще несколько не менее важных советов от команды по миграции данных ITRex:

Оцените, поймите и обосновайте необходимость перехода на новую технологию, вместо того, чтобы в спешке присоединяться к этому процессу — вы должны иметь четкое представление о том, чего вы хотите и почему вы этого хотите. Каковы будут преимущества миграции?
Создайте доказательство концепции (PoC) — сначала попробуйте в небольшом масштабе и проверьте ситуацию, прежде чем полностью приступать к миграции данных.
Изучите альтернативы и оцените риски и выгоды, связанные с каждым вариантом. Какие еще технологии выполняют ту же работу? Почему вы выбрали именно этот?
Оцените ограничения новой технологии. Например, хранимые процедуры, общие для Oracle и многих других систем управления реляционными базами данных (СУБД), могут быть недоступны в той же форме в облачных хранилищах данных с массовой параллельной обработкой (MPP).
Оцените необходимость переписать логику обработки данных.
Оцените, как это может повлиять на ваших пользователей, и рассмотрите возможность создания единой точки контакта для ваших клиентов и сотрудников, чтобы помочь им справиться с любыми проблемами, встающими на их пути.

Собираем все вместе: зачем мигрировать данные

Когда дело доходит до цифровой трансформации, инициатива по миграции данных является вопросом необходимости, а не выбора. С точки зрения миграции данных изменения неизбежны, хотя они и сопряжены с определенными рисками, неопределенностями и соображениями. Относиться к миграции данных как к части важного инновационного процесса — это полдела.

Теперь, когда вы имеете четкое представление о том, что такое миграция данных и зачем она может понадобиться, вам будет легче начать проект миграции данных.

Уровень неудач в 83 % не обязательно означает, что ваша инициатива по переносу данных обречена на провал с самого начала. Хотя миграция данных может оказаться сложной и несколько разочаровывающей, при наличии хорошо продуманной стратегии миграции данных все должно пройти гладко. Мы надеемся, что точные рекомендации и передовой опыт наших ведущих специалистов по управлению данными принесут вам огромную пользу.

Хотите понять, что такое миграция данных и как ее правильно осуществить? Не стесняйтесь, напишите нам. Получите максимальную выгоду от миграции данных с помощью проверенного подхода нашей команды по миграции данных.

Эта статья была первоначально опубликована на сайте ITRex.