whistory

AWS DMS(Data Migration Service)를 사용하여 Aurora PostgreSQL 를 AWS S3에 날짜 기준으로 파티셔닝 하여 적재 AWS DMS 를 사용해 Aurora PostgreSQL → AWS S3로 파티셔닝 해 적재해본다. 1. 복제 인스턴스 생성 VPC와 subnetgroup을 잘 선택하여 생성한다. 생성 시 ‘퍼블릭 액세스 가능’ 가 선택되어야 S3 접근이 가능 whiseung.tistory.com databricks 에서 Storage Credential 과 External Location 등록해 AWS S3를 Table로 생성하기. Databricks 에서 S3에 파일을 가져와 Table을 생성해본다. 1. AWS 역할(role) 생성 1.1 역할 생성을 위해, man..

SAP BW 에서도 데이터를 가져와 했다. SAP은 처음이다. (RFC와 ODATA는 해봤지만) SAP 엔지니어가 jdbc를 통해 SAP에 붙을 수 있도록 환경 설정을 해주었다. hdbcli 라이브러를 이용해 접속을 해보려고한다. 일단 hdbcli 라이브러리를 S3에 업로드하고, Glue 에서 [Advanced properties] - [Python library path] 에 업로드한 라이브러리의 S3 경로를 입력해준다. s3://bucket_name/hdbcli-2.14.23-cp34-abi3-manylinux1_x86_64.whl 일단 테이블 정보를 확인해본다. from hdbcli import dbapi import os import pandas as pd ## SAP BW connection c..

주기적으로 API를 실행하기위해서는, 스케쥴링이 필요하다. Lambda 함수 화면에서 [트리거추가] 를 클릭한다. 트리거 구성 화면에서, EventBridge를 선택하고, 예약표현식에 linux에서 사용하는 cron 형식의 표현식을 작성한다. 정상작동 확인 1분마다 lambda 함수가 실행되는것을 확인할 수 있다.

앞에서 만든 python을 AWS Lambda에 등록해본다. https://whiseung.tistory.com/entry/KOSIS%EA%B5%AD%EA%B0%80%ED%86%B5%EA%B3%84%ED%8F%AC%ED%84%B8-%EB%8C%80%EC%9A%A9%EB%9F%89%ED%86%B5%EA%B3%84%EC%9E%90%EB%A3%8C-openAPI-%EC%82%AC%EC%9A%A9 KOSIS(국가통계포털) 대용량통계자료 openAPI 사용 kosis 에서 제공하는건, [통계자료]와 [대용량통계자료] 두가지가 존재한다. 현재로썬, [대용량통계자료] 를 쓸일이 없긴한데 일단 테스트를 진행한다. 자료등록 URL을 생성하고, [URL생성]을 누른다 whiseung.tistory.com Lambda 함수..

KOSIS openAPI 를 가져왔으니, 이를 AWS S3에 올리려고 한다. 일단 S3에 접근할수 있는 IAM 자격정보를 가져온다 [IAM] - [액세스 관리] - [사용] 로 이동한다. 사용자를 클릭하고, [보안 자격 증명] 으로 이동한 뒤 [엑세스 키 만들기] 를 클릭한다. 액세스키를 만들고, 엑세스 키 ID 와, 비밀 액세스 키 를 이용해 python에서 S3에 접근한다. 로컬에, parquet 파일 만들기 (SDMX) import pandas as pd import requests from bs4 import BeautifulSoup open_url = "https://kosis.kr/openapi/statisticsBigData.do?method=getList&apiKey=api_key&form..