AWS DMS(Data Migration Service)를 사용하여 Aurora PostgreSQL 를 AWS S3에 날짜 기준으로 파티셔닝 하여 적재

 

💡 AWS DMS 를 사용해 Aurora PostgreSQL 에서 AWS S3로 데이터를 적재해본다.

     초기적재를 진행하고, 증분(Transaction) 데이터에 대해서는
     날짜단위로 파티셔닝을 적용하여 적재를 수행한다.

 

 

 

 

AWS DMS(Data Migration Service) 를 이용해 데이터를 마이그레이션할 때, 사용하는 메뉴는 크게 아래와 같다

- 복제 인스턴스 : 복제를 하기 위한 VM

- 엔드포인트 : 소스와 타겟을 설정

- 데이터베이스 마이그레이션 테스크 : 실제 복제가 수행 되는 테스크

 

순서로 작업을 구성한다.

 

1. 복제 인스턴스 생성

VPC와 subnetgroup을 잘 선택하여 생성한다.

생성 시 ‘퍼블릭 액세스 가능’ 가 선택되어야 S3 접근이 가능하다.

 

퍼블릭 엑세스 기능을 끄고 S3에 접근하려면, VPC의 endpoint를 생성하여 접근해야 한다.

하지만 VPC endpoint는 과금이 발생하여 테스트 단계에서는 제외하고 구성한다.

• 생성된 화면

 

 

---

 

2. 엔드포인트 생성

 

• 소스 / 대상 엔드포인트를 구분하여 생성한다.

 

2.1 소스

방화벽과 VPC만 잘 연결되어 있으면, 쉽게 소스에 연결 가능 하다.

[연결] 탭에서 [연결 테스트] 를 진행해야 한다.

 

2.2 대상

대상 엔진을 S3로 지정한 후 bucket 과 폴더 정보를 입력한다.

• 엔드포인트 설정
  • DataFormat : 저장할 파일 포맷을 설정
  • DatePartitionEnabled : 날짜 기준 파티션 여부 설정
  • DatePartitionSequence : 날짜 기준 파티션 기준 설정

대상 엔드포인트 또한 연결 테스트를 진행한다.

 

 

 

---

 

 

3. 데이터베이스 마이그레이션 태스크

수행될 job(task)라고 보면 된다.

 

생성할 때,

소스와 대상 엔드포인트를 선택하고,

마이그레이션 유형을 선택한다.

 

기존 데이터 마이그레이션은 초기적재이고,

데이터 변경 사항만 복제는 CDC 이다.

 

 

• 테이블 매핑

필수로 진행해야 하는 과정이다.

소스와 타겟에 어떻게 저장 할지를 지정한다.

 

 

Sample

기본적으로 ‘selection’ 영역에서 스키마와 테이블 정보를 입력하고.

아래의 ‘transformation’ 영역에서 ‘add-column’ 을 통해 cdc 해 올 때, 추가로 가져올 정보들을 함께 가져와준다.

Using transformation rule expressions to define column content - AWS Database Migration Service

Using transformation rule expressions to define column content - AWS Database Migration Service

 

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "042601413",
            "rule-name": "042601413",
            "object-locator": {
                "schema-name": "public",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "transformation",
            "rule-id": "2",
            "rule-name": "2",
            "rule-target": "column",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%"
            },
            "rule-action": "add-column",
            "value": "transact_id",
            "expression": "$AR_H_STREAM_POSITION",
            "data-type": {
                "type": "string",
                "length": 50
            }
        },
        {
            "rule-type": "transformation",
            "rule-id": "3",
            "rule-name": "3",
            "rule-target": "column",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%"
            },
            "rule-action": "add-column",
            "value": "transact_seq",
            "expression": "$AR_H_CHANGE_SEQ",
            "data-type": {
                "type": "string",
                "length": 50
            }
        }
    ]
}

 

 

 

 

• S3에 초기적재된 내용

 

 

• S3에 날짜 기준으로 파티셔닝 되어 CDC된 내역
•