그래프 DB 선택 시 고려사항 - Data Migration
Data Migration 정의
- 서로 다른 데이터 성질에 대해서 전처리를 거치는 과정
- 기존 RBMS를 운영하던 데이터를 그래프 데이터로 분석하려면 데이터를 그래프 DB로 옮겨야함.
데이터 마이그레이션을 계획하는 방법
데이터 마이그레이션에는 3가지 기본 단계는 다음과 같습니다.
- 데이터 추출
- 데이터 변환
- 데이터 로드
- 데이터 마이그레이션 전문가 커뮤니티인 Data Migration Pro에는 7단계 프로세스를 간략하게 보여주는 다음과 같은 종합 체크리스트가 있습니다.
- 사전 마이그레이션 계획: 이동할 데이터의 안정성을 평가합니다.
- 프로젝트 시작: 주요 이해 관계자를 파악하고 그들에게 간단히 알립니다.
- 환경 분석: 강력한 데이터 품질 규칙 관리 프로세스를 확립하고, 기존 시스템 종료를 포함하여 프로젝트의 목표에 대해 회사에 간단히 알립니다.
- 솔루션 설계: 이동할 데이터를 결정하고 이동 전후에 데이터 품질을 확인합니다.
- 구축 및 테스트: 마이그레이션 로직을 코딩하고 운영 환경 미러링을 통해 마이그레이션을 테스트합니다.
- 실행 및 검증: 마이그레이션이 요구사항을 준수하고, 이동된 데이터를 비즈니스에 실제로 사용할 수 있음을 보여줍니다.
- 사용 중단 및 모니터링: 기존 시스템을 종료하고 폐기합니다.
데이터 마이그레이션 실수 #1: 시작 시점부터 비즈니스 사용자 참여 배제
- 마이그레이션 후의 데이터 무결성에 대해 IT 팀이 책임질 수 있지만 데이터의 최종 사용자는 사업부입니다. 비즈니스 사용자에게 정보를 제공하지 않고 이들이 일상적으로 작업하는 데이터의 병합, 정리 또는 재구성에 대한 피드백에 귀기울이지 않을 경우, 비즈니스 사용자는 마이그레이션 후에 데이터를 잘못 사용하거나 IT 팀에 수많은 지원을 요청하게 될 수 있습니다.
- 현재 처한 환경을 철저히 파악하면 이해 관계자를 참여시킬 시기와 단계와 같이 프로세스와 관련된 중요 결정에 대한 정보를 확인할 수 있습니다. 인프라, 마이그레이션이 필요한 데이터, 마이그레이션 순서 및 호환성 문제를 깊이 이해하면 프로젝트 범위를 더 잘 이해할 수 있습니다.
데이터 마이그레이션 실수 #2: 소스 데이터 미비
- 프로세스를 시작할 때 이동할 소스 데이터를 정의한 다음 철저히 검사해야 합니다. 새 매개변수에 맞게 데이터를 구성할 때 데이터의 중복, 공백, 잘못된 철자 및 오류로 인해 심각한 문제가 발생할 수 있습니다. 소스 데이터를 완벽하게 정리하고 이를 새로운 기준이나 범주로 전환하는 데 필요한 모든 방법을 확인해야 합니다.
- 데이터 마이그레이션은 사용자에게 더 이상 적합하지 않은 레거시 구조를 제거하고 비효율성을 없앨 수 있는 좋은 기회입니다. 하지만 마이그레이션 프로세스 도중이 아니라 반드시 마이그레이션 프로세스 이전에 데이터를 정리해야 합니다.
데이터 마이그레이션 실수 #3: 지속 가능한 거버넌스 미구축
- 인프라 및 부하 관련 문제를 관리하는 도중에 데이터의 거버넌스 구조를 정의할 경우 마이그레이션 단계를 급히 처리하거나 잊어버릴 수 있습니다. 하지만 누가 어떤 데이터를 소유하고 누가 액세스, 편집 또는 제거할 수 있는지 이해하는 것은 매우 중요합니다.
- 또한 조직에 처음부터 데이터 수명 주기를 관리하기 위한 프로세스가 있는지 확인해야 할 수도 있습니다. 그리고 기업의 비즈니스 및 검증 규칙이 최신이 아니거나 데이터가 이러한 규칙을 준수하지 않을 수 있습니다. 이러한 문제를 그대로 가져오는 대신 지금 시간을 내어 이러한 문제를 해결함으로써 데이터 마이그레이션 시 기업이 가진 문제까지 함께 마이그레이션하지 않도록 주의합니다.
데이터 마이그레이션 실수 #4: 테스트 및 검증 미수행
- 마이그레이션 중 문제가 발생하지 않을 것이라고 기대하는 것은 현실적이지 않습니다. 다른 IT 프로젝트와 마찬가지로 테스트는 종료 시점에만 수행하는 것이 아니라 프로세스 전반에 걸친 크리티컬 패스 활동이어야 합니다.
따라서 가동 중지 시간을 최소화하기 위해 개발 환경에서도 테스트를 수행합니다.
그리고 마이그레이션이 완료되어도 테스트를 계속 수행합니다.
참고
그래프 DB를 선택할 때 고려해야 할 10 가지 사항 (tistory.com)
그래프 DB를 선택할 때 고려해야 할 10 가지 사항
글로벌 그래프 DB 시장에는 수많은 그래프 DB 공급 업체들이 존재하지만, 실제 활용을 위한 그래프 DB를 선택하는 것은 쉽지 않습니다. 요구사항에 따라 여러 DB 제품들이 있기에 충분히 검토해보
bitnine.tistory.com
데이터 마이그레이션이란? | NetApp
NetApp과 함께 데이터를 각 위치, 형식 및 애플리케이션에서 다른 위치, 형식 및 애플리케이션으로 이동하는 데이터 마이그레이션에 대해 자세히 알아보세요.
www.netapp.com
데이터 마이그레이션 과정상 일반적인 실수 4가지와 이를 방지하는 방법 (teradata.com)
데이터 마이그레이션 과정상 일반적인 실수 4가지와 이를 방지하는 방법
데이터 마이그레이션 계획을 수립하는 것은 아주 힘든 일이지만 실수를 방지하기 위한 전략을 세우는 것은 성공적인 데이터 마이그레이션을 위해 시스템과 팀을 준비하는 데 도움이 됩니다.
kr.teradata.com