whistory

AWS DMS(Data Migration Service)를 사용하여 Aurora PostgreSQL 를 AWS S3에 날짜 기준으로 파티셔닝 하여 적재 AWS DMS 를 사용해 Aurora PostgreSQL → AWS S3로 파티셔닝 해 적재해본다. 1. 복제 인스턴스 생성 VPC와 subnetgroup을 잘 선택하여 생성한다. 생성 시 ‘퍼블릭 액세스 가능’ 가 선택되어야 S3 접근이 가능 whiseung.tistory.com databricks 에서 Storage Credential 과 External Location 등록해 AWS S3를 Table로 생성하기. Databricks 에서 S3에 파일을 가져와 Table을 생성해본다. 1. AWS 역할(role) 생성 1.1 역할 생성을 위해, man..

💡 AWS DMS 를 사용해 Aurora PostgreSQL 에서 AWS S3로 데이터를 적재해본다. 초기적재를 진행하고, 증분(Transaction) 데이터에 대해서는 날짜단위로 파티셔닝을 적용하여 적재를 수행한다. AWS DMS(Data Migration Service) 를 이용해 데이터를 마이그레이션할 때, 사용하는 메뉴는 크게 아래와 같다 - 복제 인스턴스 : 복제를 하기 위한 VM - 엔드포인트 : 소스와 타겟을 설정 - 데이터베이스 마이그레이션 테스크 : 실제 복제가 수행 되는 테스크 순서로 작업을 구성한다. 1. 복제 인스턴스 생성 VPC와 subnetgroup을 잘 선택하여 생성한다. 생성 시 ‘퍼블릭 액세스 가능’ 가 선택되어야 S3 접근이 가능하다. 퍼블릭 엑세스 기능을 끄고 S3에 접..