whistory

SAP BW 에서도 데이터를 가져와 했다. SAP은 처음이다. (RFC와 ODATA는 해봤지만) SAP 엔지니어가 jdbc를 통해 SAP에 붙을 수 있도록 환경 설정을 해주었다. hdbcli 라이브러를 이용해 접속을 해보려고한다. 일단 hdbcli 라이브러리를 S3에 업로드하고, Glue 에서 [Advanced properties] - [Python library path] 에 업로드한 라이브러리의 S3 경로를 입력해준다. s3://bucket_name/hdbcli-2.14.23-cp34-abi3-manylinux1_x86_64.whl 일단 테이블 정보를 확인해본다. from hdbcli import dbapi import os import pandas as pd ## SAP BW connection c..

Google Sheets에서 Apps Script 의 function들을 실행 할 수 있는 방법은, 상단 메뉴에 버튼을 추가하거나 sheet 내부에 버튼을 추가하는 방식이 있을 것이다. 상단 메뉴에 버튼 만드는법 Apps Script에서 제공하는 Simple Tirggers 의 onOpen() 을 이용한다. 해당 Google Sheets가 열릴 때 마다 실행 되는 트리거 이다. SpreadsheetApp API의 createMenu 를 이용한다. 실행방법은 간단하다. .createMenu('상위메뉴 이름) .addItem('하위메뉴 이름', '실행될 함수 명') /** * Generate Top buttons. */ function onOpen() { SpreadsheetApp.getUi() .creat..

나는 비트코인이 물려있다. 빠른 시간에 탈출을 해야 한다. 그렇기 때문에 매일 아침 상황이 어떤지 확인하고 싶다. upbit에서 제공하는 api를 이용한다. function upbitMorningBriefing () { const coinArr = ["BTC","ETH", "XRP"]; var message = ""; for (i in coinArr) { const url = `https://api.upbit.com/v1/ticker?markets=KRW-${coinArr[i]}`; const response = UrlFetchApp.fetch(url, { method : "GET", header:{ "contentType" : "application/json" } }); const json = resp..

현재 ‘code’ 라는 시트의 데이터를 Dropdown(선택상자, SelectBox) 을 조회 조건으로 사용 중이다. ‘testSheet’ 라는 시트에서, G/L 계정의 조회 조건을 다중 선택을 하고 싶다는 요구 사항을 받았다. Google sheets에서 제공하는 기능은 없었고, 커스텀이 필요했다. 앞의 코드를 선택하면, 코드에 부합하는 뒤의 명칭을. 뒤의 명칭을 선택하면, 명칭에 부합하는 앞의 코드를 뿌려주는 기능도 물론 포함이다. 일단, onEdit() 트리거를 사용한다. code 와 명칭이 변경될때 event를 생성한다. /** * edit event * @param {object} e = event */ function onEdit(e) { const getValue = e.value; cons..

1억 건이 넘는 데이터를 한 파일로 S3에 저장했다. parquet 파일로 저장을 했고, 파일이 2GB가 넘는다. Athena에서 count 쿼리를 날려보니 1억 2천 건이다. Select * FROM table 명령어를 날려본다. 조회하는데 12분이 걸린다. 해당 데이터는 날짜기준 컬럼이 있다. 이 컬름을 기준으로 파티셔닝을 진행해본다. spark 의 partitionBy() 를 사용한다. partitionBy 에서 파티셔닝 할 컬럼명을 입력해준다. import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue...

LeicaQ - 2018 Osaka

매일 주택청약 확인을 위해 홈페이지를 들어갔다. https://www.applyhome.co.kr/ai/aib/selectSubscrptCalenderView.do#a 매일 홈페이지를 들어가지 않고, 공공데이터 포털에서 제공하는 데이터를 Telegram 메세지로 받아보도록 해봤다. 1. telegram bot 설정하기 BotFather 을 검색하고 인증되어 있는 BotFather을 선택한다. /start 를 입력하고, /newbot 으로 bot을 생성한다. 생성할 bot 이름을 입력한다. 입력하면 토큰을 발 받을 수 있다. getUpdates url 을 호출하면 빈값을 반환한다. https://api.telegram.org/bot${token}/getUpdates {"ok":true,"result":[{..

LeicaQ 2019 Sapporo

mssql 의 데이터를 가져와 Google Sheets에 데이터를 뿌려 줘 본다. 해당 Google Sheets의 데이터들의 내용을 주기적으로 MSSQL 데이터와 sync를 맟추고 싶다. 이를 해결하기 위해, Apps Script에서 제공하는 Trigger 중 Time-driven 을 이용한다. 일단 MSSQL의 데이터를 해당 sheet에 뿌려준다. const address = 'mssql ip address'; const port = 'mssql port'; const user = 'mssql user'; const userPwd = 'mssql password'; const db = 'mssql database'; const dbUrl = `jdbc:sqlserver://${address}:${por..

python job을 생성하여 싱글노드로 MSSQL 데이터를 S3에 저장하다보니, 데이터의 양이 1억건이 넘어가면 메모리부족이 발생했다. 데이터 사이즈가 큰 테이블의 경우에는, Spark을 이용해 분산저장을 해야겠다. 일단 Glue Job에서, [Spark script editor] 을 통해 Spark job을 생성한다. import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job ## @params: [JOB_NA..