whistory

AWS Glue를 사용하려고하는데, IAM을 선택해야 실행할수 있엇다. 그래서 IAM을 만들러 왔다. [IAM] - [역할] 로 이동. [역할 만들기] 클릭 신뢰할수 있는 엔티티 유형 중 [AWS 서비스] 를 선택하고, 다른 AWS 서비스의 사용사례에서 [Glue] 를 선택하고 [다음]을 누른다. 권한추가에서, S3접근을 위한 'AmazonS3FullAccess' 와 'AWSGlueServiceRole' 을 선택하고, 다음으로 이동한다. https://docs.aws.amazon.com/ko_kr/glue/latest/dg/create-an-iam-role.html 2단계: AWS Glue에 대한 IAM 역할 생성 - AWS Glue 2단계: AWS Glue에 대한 IAM 역할 생성 AWS Glue가 사..

주기적으로 API를 실행하기위해서는, 스케쥴링이 필요하다. Lambda 함수 화면에서 [트리거추가] 를 클릭한다. 트리거 구성 화면에서, EventBridge를 선택하고, 예약표현식에 linux에서 사용하는 cron 형식의 표현식을 작성한다. 정상작동 확인 1분마다 lambda 함수가 실행되는것을 확인할 수 있다.

앞에서 만든 python을 AWS Lambda에 등록해본다. https://whiseung.tistory.com/entry/KOSIS%EA%B5%AD%EA%B0%80%ED%86%B5%EA%B3%84%ED%8F%AC%ED%84%B8-%EB%8C%80%EC%9A%A9%EB%9F%89%ED%86%B5%EA%B3%84%EC%9E%90%EB%A3%8C-openAPI-%EC%82%AC%EC%9A%A9 KOSIS(국가통계포털) 대용량통계자료 openAPI 사용 kosis 에서 제공하는건, [통계자료]와 [대용량통계자료] 두가지가 존재한다. 현재로썬, [대용량통계자료] 를 쓸일이 없긴한데 일단 테스트를 진행한다. 자료등록 URL을 생성하고, [URL생성]을 누른다 whiseung.tistory.com Lambda 함수..

KOSIS openAPI 를 가져왔으니, 이를 AWS S3에 올리려고 한다. 일단 S3에 접근할수 있는 IAM 자격정보를 가져온다 [IAM] - [액세스 관리] - [사용] 로 이동한다. 사용자를 클릭하고, [보안 자격 증명] 으로 이동한 뒤 [엑세스 키 만들기] 를 클릭한다. 액세스키를 만들고, 엑세스 키 ID 와, 비밀 액세스 키 를 이용해 python에서 S3에 접근한다. 로컬에, parquet 파일 만들기 (SDMX) import pandas as pd import requests from bs4 import BeautifulSoup open_url = "https://kosis.kr/openapi/statisticsBigData.do?method=getList&apiKey=api_key&form..