whistory

💡 Apps Script로 Google Sheets에서 필터를 생성하고, 조건을 적용해 본다. 나아가 필터 조건이 적용된 데이터를 새로운 시트로 추출해본다. 아래와 같은 데이터가 있다. 필터 생성하기 function createFilters() { const ss = SpreadsheetApp.getActiveSpreadsheet(); const sheet = ss.getSheetByName("tempature_all"); const range = sheet.getRange("A:E"); range.createFilter(); } 필터 삭제하기 function createFilters() { const ss = SpreadsheetApp.getActiveSpreadsheet(); const sheet =..

Databricks 에서 S3에 파일을 가져와 Table을 생성해본다. 1. AWS 역할(role) 생성 1.1 역할 생성을 위해, managed(account) console 에서 Account ID를 확인한다. 1.2 AWS 콘솔에서 IAM으로 이동. [역할] - [역할 만들기] 다른 AWS 계정에는 databricks account id 입력 외부 ID에는, databricks account id 입력 이름을 지정하고 일단 저장한다. 생성한 역할로 들어간다. [인라인 정책 생성] 으로 이동한다. JSON 에 아래와 같이 정보를 입력한다. { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject", ..

💡 AWS DMS 를 사용해 Aurora PostgreSQL 에서 AWS S3로 데이터를 적재해본다. 초기적재를 진행하고, 증분(Transaction) 데이터에 대해서는 날짜단위로 파티셔닝을 적용하여 적재를 수행한다. AWS DMS(Data Migration Service) 를 이용해 데이터를 마이그레이션할 때, 사용하는 메뉴는 크게 아래와 같다 - 복제 인스턴스 : 복제를 하기 위한 VM - 엔드포인트 : 소스와 타겟을 설정 - 데이터베이스 마이그레이션 테스크 : 실제 복제가 수행 되는 테스크 순서로 작업을 구성한다. 1. 복제 인스턴스 생성 VPC와 subnetgroup을 잘 선택하여 생성한다. 생성 시 ‘퍼블릭 액세스 가능’ 가 선택되어야 S3 접근이 가능하다. 퍼블릭 엑세스 기능을 끄고 S3에 접..

LeicaQ 2023 monochrome

💡 Apps Script로 BigQuery의 데이터를 Google Sheets에 뿌려주고, 데이터의 case에 따른 음영을 처리하는 예제이다. Apps Script로 BigQuery 데이터를 Google Sheets에 뿌려주기 그럼, 데이터를 조회해서 바로 Google Sheets에 바로 뿌려줄 수 있는 기능을 구현해본다. 초기에 작성한 부분이라, 모든 함수를 호출 할 때 SheetUrl, SheetName 을 계속 호출하는데 excuteA(sheetUrl, sheetName); whiseung.tistory.com BigQuery에서 데이터를 가져와서 Google Sheet에 뿌려주었다. 추가 요구 사항이 들어왔다. [매출실적] [매출분석] [원가] 별로 동일한 음영 처리를 해야 한다. 흠... App..

💡Google Sheet에서, vlookup 함수를 Apps Script 의 event trigger를 이용해 구현해본다. vlookup 수식으로 작성해 놓았을 경우, 작성된 셀에서 delete키를 눌럿을 경우 수식이 삭제되기 때문에, event trigger를 이용해 구현해보았다. 조회조건인 명칭을 dropdown 에서 선택하면, 해당하는 시도와 지사를 자동으로 뿌려줘본다. 1. 마스터 데이터 가져오기 '공통데이터' 시트의 데이터를 가져온다. function getMasterData() { const ss = SpreadsheetApp.getActive(); const masterSheet = ss.getSheetByName("공통데이터"); const masterData = masterSheet.ge..

💡Apps Script를 이용해 이미지나 pdf파일에서 텍스트를 추출해본다. 작동방식은 이미지나 pdf 파일을 Google Drive에 OCR 된 형태의 임시 파일로 upload 하는 방식이다. Apps Script 좌측 메뉴에서 서비스의 [+] 버튼을 클릭해 Drive 서비스를 찾아 추가한다. PDF 파일 ocr 원본 pdf 스크립트 function readTextFromFile() { const url = "https://www.africau.edu/images/default/sample.pdf"; const contentBlob = UrlFetchApp.fetch(url).getBlob(); const resource = { title : contentBlob.getName(), mimeType :..

💡 Apps Script 를 이용해 실제로 개발했던 내용을 요약했다. Apps Script 라이브러리 생성해서 다른 Apps Script에서 사용하기 💡 Apps Script 프로젝트를 진행함에 있어, 유지보수를 용이하기 위해서, 공통모듈을 라이브러리로 배포하여 사용하는 방법이다. https://whiseung.tistory.com/4 Apps Script 개발을 위한 구조 설계 💡Apps Scri whiseung.tistory.com 위에서 Apps Script의 구조를 간략히 설명했는데, 사용 예시와 함께 좀 더 디테일하게 작성해 보았다. 서울 영업부서 Google Sheet와 연결 된 Apps Script (껍데기) Google Sheets 메뉴에서 [확장프로그램] - [Apps script] 로 ..

💡Google Cloud Platform 에서 Cloud Shell 을 사용하는 방법을 알아본다. BigQuery 이관을 위해, Python 코드를 실행해야 했다. 콘솔의 우측상단의 버튼을 통해 접근하는 방법이 있고, 서비스 검색을 통해 접근하는 방법이 있다. VScode를 사용해 봤으면, 익숙한 화면일 것이다. 터미널을 통해 디렉토리를 생성하고. 생성한 폴더를 연다. New File로 실행할 Python 파일을 생성한다. 실행할 python 코드를 입력하고, 실행하는 형식으로 사용한다. 터미널을 보면, 노란색 괄호가 보인다. 현재 Cloud Shell 을 실행한 프로젝트가 종속되어 표시된다. 프로젝트를 변경하는 방법은 아래와 같다. 계정에 할당된 프로젝트 리스트 확인 wsseo@cloudshell:~ ..

Apps Script로 생성한 웹페이지에서(웹앱 배포) 입력한 값을 Google Sheets에 저장하기 https://whiseung.tistory.com/entry/Apps-Script%EB%A1%9C-%EC%9B%B9%EC%95%B1-%EC%83%9D%EC%84%B1 Apps Script로 간단한 웹페이지 생성하기 Apps Script로 간단한 웹페이지를 생성 할 수 있다. 이 웹페이지에서 Bigquery, Database, Goog whiseung.tistory.com 전에는 Web → Google Sheets 를 구현했엇다. 이제는 Google Sheets → Web 을 구현해보려 한다. Google Sheets 에서 가져올 데이터 Google Sheets를 url 기반으로 가져와, 데이터를 추출..