KOSIS(국가통계포털) 통계자료 openAPI 사용

 

💡국가통계포털(KOSIS) 에서 제공하는 openAPI를 이용해 통계데이터를 수집해본다.

 

 

국가통계포털에서 제공하는 openAPI를 가져와 데이터를 적재하는 프로젝트가 생겼다.

일단 target은 AWS S3 일것으로 추측. 한스텝씩 테스트를 진행한다.

 

1. KOSIS 통계자료 openAPI 사용
2. KOSIS 대용량통계자료 openAPI 를 이용해 parquet 파일 생성
3. KOSIS openAPI를 이용해 가져온 데이터를 AWS S3에 parquet 파일로 저장

 

일단 KOSIS의 openAPI 사용법을 확인해본다.

 

 

KOSIS openAPI 사이트로 이동한다. (https://kosis.kr/openapi/index/index.jsp)

 

활용신청을 하고, [개발가이드] - [통계자료] 로 이동한다.

[URL 생성] 으로 이동해, 사용할 통계표를 조회하고,

사용여부를 체크하고 [선택] 을 클릭힌다.

 

 

 

조회할 항목들과, 출력형태, 조회기간을 선택하고 [URL보기]를 클릭한다.

분류값 선택화면

 

 

 

생성된 url을 브라우저에 붙여 넣으면 결과가 선택한 데이터 포맷으로 출력된다.

import json
from urllib.request import urlopen

with urlopen("https://kosis.kr/openapi/Param/statisticsParameterData.do?method=getList&apiKey=apikey=&itmId=16135A1+16135A3+16135A5+&objL1=A010+A011+A012+A013+A014+A241+&objL2=&objL3=&objL4=&objL5=&objL6=&objL7=&objL8=&format=json&jsonVD=Y&prdSe=Y&newEstPrdCnt=1&orgId=135&tblId=DT_135N_1A001A") as url:
    json_file = url.read()
    py_json = json.loads(json_file.decode('utf-8'))
    # print(py_json)

    for i, v in enumerate(py_json):
        if i == 0 :
            print(v['TBL_NM'])

        print(v['PRD_DE'] + "\\t/\\t  " + v['C1_NM']+ "\\t/\\t  " + v['ITM_NM'] + "\\t/\\t" + v['DT'])

 

 

 

 

 

import json
from urllib.request import urlopen
import pandas as pd

with urlopen("https://kosis.kr/openapi/Param/statisticsParameterData.do?method=getList&apiKey=apikey&itmId=16135A1+16135A3+16135A5+&objL1=A010+A011+A012+A013+A014+A241+&objL2=&objL3=&objL4=&objL5=&objL6=&objL7=&objL8=&format=json&jsonVD=Y&prdSe=Y&newEstPrdCnt=1&orgId=135&tblId=DT_135N_1A001A") as url:
    json_file = url.read()
    py_json = json.loads(json_file.decode('utf-8'))

    data = []
    for i, v in enumerate(py_json):
        if i == 0 :
            print(v['TBL_NM'])

        value = []
        value.append(v['PRD_DE'])
        value.append(v['C1_NM'])
        value.append(v['ITM_NM'])
        value.append(v['DT'])
        value.append(v['UNIT_NM'])

        data.append(value)

df = pd.DataFrame(data)
df.columns = ['yyyyymm', 'category1', 'category2', 'value', 'unit']
df.head()
print(df)

PS C:\\workspace\\api> & C:/Users/서휘승/AppData/Local/Microsoft/WindowsApps/python3.8.exe c:/workspace/api/test.py
범죄의 발생 검거상황(총괄)
   yyyyymm            category1 category2   value unit
0     2020                   사기      발생건수  340925    건
1     2020                   사기      검거건수  234065    건
2     2020                   사기      검거인원  240531    명
3     2020             컴퓨터등사용사기      발생건수    7451    건
4     2020             컴퓨터등사용사기      검거건수    2050    건
5     2020             컴퓨터등사용사기      검거인원    2595    명
6     2020                 부당이득      발생건수      83    건
7     2020                 부당이득      검거건수      67    건
8     2020                 부당이득      검거인원     108    명
9     2020             편의시설부정이용      발생건수    1638    건
10    2020             편의시설부정이용      검거건수    1287    건
11    2020             편의시설부정이용      검거인원    1519    명
12    2020  전기통신금융사기피해금환급에관한특별법      발생건수     534    건
13    2020  전기통신금융사기피해금환급에관한특별법      검거건수     286    건
14    2020  전기통신금융사기피해금환급에관한특별법      검거인원     368    명
15    2020            보험사기방지특별법      발생건수    3523    건
16    2020            보험사기방지특별법      검거건수    3378    건
17    2020            보험사기방지특별법      검거인원   12973    명
PS C:\\workspace\\api>