whistory

💡 oozie에서 workflow 실행 시, 날짜를 argument로 입력 받아 다음 task(hive query)에서 where조건의 값으로 사용해본다. 1. 날짜를 입력 받을 shell script를 작성한다. #!/bin/bash if [ -n "$1" ]; then echo today=$1 else getdt=$(date +%Y-%m-%d) echo today=$getdt fi 위와 같은 형식으로 echo를 찍어준다. today=${date} 2. hadoop 명령어를 이용해 작성한 shell script를 hadoop에 업로드한다 $ hadoop fs -copyFromLocal check_date.sh /user/hue/oozie/script/ws_test_date_return 3. workfl..

💡 GCP 에서 제공하는 최신 리전 및 영역 데이터를 Google Sheets로 가져오고 싶다. 주, 혹은 월단위로 동기화를 유지하고 싶다. 아래 사이트에서 GCP 의 region 정보들을 Google Sheets로 가져오고 싶다. 그리고 region이 추가 되면, 자동으로 Google Sheets에 region이 추가되면 좋겠다. 리전 및 영역 | Compute Engine 문서 | Google Cloud 의견 보내기 리전 및 영역 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. Compute Engine 리소스는 전 세계 여러 곳에서 호스팅됩니다. 이러한 위치는 리전과 영 cloud.google.com 크롤링을 위해 Cheerio 라이브러리를 등록한다. (Cheerio ..

💡 Google Analytics 에서 제공하는 최신 지리 정보 데이터를 Google Sheets로 가져오고 싶다. 주, 혹은 월단위로 동기화를 유지하고 싶다. Google Developer 에서 제공하는 최신 지리 정보 데이터를 Google Sheets로 가져오고 싶다. 지역 ID | Analytics Measurement Protocol | Google Developers 이 문서는 유니버설 애널리틱스를 대상으로 작성되었습니다. Google 애널리틱스 4를 사용하는 경우 측정 프로토콜 (Google 애널리틱스 4)을 참고하세요. 이 페이지는 Cloud Translation API를 통해 번역되 developers.google.com 정규식을 이용해 latest csv 파일의 url을 추출한다. fun..

나는 엑셀 수식을 이용해, Table의 Insert문을 아래와 같이 생성해왔다. Google Sheets와 Apps Script를 이용해 작업을 최소화 하고자 한다. 아래의 데이터들을 INSERT 구문으로 생성하고자 한다. 첫 번째 열은 데이터 타입이다. 먼저 첫 번째 행의 data type들만 colTypeArr로 따로 뽑아낸다. function createInsertState () { const sheet = SpreadsheetApp.getActive().getSheetByName("queryMaker"); const getRange = sheet.getRange(1, 1, sheet.getLastRow(), sheet.getLastColumn()); const values = getRange.ge..

💡 App Script로 생성한 웹 앱의 URL을 호출하여 호출 시 전달 받은 파라미터를 이메일 컨텐츠로 전송해보겠다. 아래 두가지를 응용하여 API처럼 URL 호출만으로 이메일을 전송해보려고 한다. Apps Script로 간단한 웹페이지 생성하기 Apps Script로 간단한 웹페이지를 생성 할 수 있다. 이 웹페이지에서 Bigquery, Database, Google sheets로 데이터를 입력(입력)할 수 있다. Simple Trigger인 doGet()를 이용한다. function doGet(e) { return HtmlService.createT whiseung.tistory.com Apps Script로 Email 보내기 (HTML 양식) 이메일을 보내는 기능을 구현한다. 이메일의 경우는, G..

💡 Apps Script를 이용해 웹페이지를 만들고, 웹페이지에서 PDF나 이미지의 URL을 입력 받아 결과를 웹페이지에 텍스트로 뿌려주는 기능을 구현해본다. 아래의 두가지를 응용해본다. Apps Script로 이미지파일/PDF 파일 OCR 하기 💡Apps Script를 이용해 이미지나 pdf파일에서 텍스트를 추출해본다. 작동방식은 이미지나 pdf 파일을 Google Drive에 OCR 된 형태의 임시 파일로 upload 하는 방식이다. Apps Script 좌측 메뉴에서 서비스의 [ whiseung.tistory.com Apps Script로 간단한 웹페이지 생성하기 Apps Script로 간단한 웹페이지를 생성 할 수 있다. 이 웹페이지에서 Bigquery, Database, Google sheets..

💡 Apps Script에서 LanguageApp 의 translate를 이용해 텍스트를 번역해본다. Apps Script에서 LanguageApp 의 translate 함수를 이용해 텍스트를 번역 할 수 있다. 사용 방법 // The code below will write "Esta es una prueba" to the log. var spanish = LanguageApp.translate("Hi! I am hero", "en", "es"); Logger.log(spanish); 이름 유형 설명 text String 번역할 텍스트 sourceLanguage String 텍스트가 작성된 언어 코드입니다. 빈 문자열로 설정하면 출발어가 자동으로 감지됩니다. targetLanguage String 텍스트..

💡 Apps Script로 Google Sheets 우측 하단에 심플한 토스트 메세지를 띄워 줄 수 있다. 간단한 예제와 응용 예제 대해서 알아본다. Apps Script로 Google Sheets 에서 제공하는 Alert 뿐만 아니라 Toast 알림도 실행시켜 줄 수 있다. 메세지만 띄우기 function toastMessage() { SpreadsheetApp.getActiveSpreadsheet().toast('토스트 테스트'); } 제목과 메세지 띄우기 function toastMessage() { SpreadsheetApp.getActiveSpreadsheet().toast('토스트 테스트', '알림'); } 응용 DB에서 데이트를 가져와 뿌려줄 때 connection pool 방식으로 데이터를..

💡 Apps Script로 Google Sheets에 활성(선택)영역을 지정한다. 웹 프로그램에서 setFocus()와 비슷한 효과를 줄 수 있다. 간단한 사용법과 응용 예제를 알아본다. SpreadsheetApp 에서 제공하는 setActiveRange() 를 이용해 아래와 같이 Google Sheets의 활성(선택)영역을 지정해 줄 수 있다. 아래와 같이 setActiveRange() 안에 range 를 넣어줘야 한다. // 방식 #1 const range = sheet.getRange("A1"); sheet.setActiveRange(range); // 방식 #2 sheet.setActiveRange(sheet.getRange("A1")); 단일 영역 지정 function setCellPositon..

💡 Apps Script로 Google Sheets에서 정렬을 적용하는 방법을 알아본다. 데이터를 조회할 때 쿼리문의 order by 절에서 정렬을 해 줄 수도 있지만, Script로 처리하는 방법을 구현해본다. 아래와 같은 데이터가 있다. 일단 간단하게 첫번 째 행인 country 를 내림차순 정렬해보자. 정렬은 sort() 를 이용해 수행한다. 사용 방법은 sheet 안에 range 영역에서 sort를 수행하면 된다. function createSort() { const ss = SpreadsheetApp.getActiveSpreadsheet(); const sheet = ss.getSheetByName("tempature_all"); const range = sheet.getRange("A:E");..