whistory

💡 GCP 에서 제공하는 최신 리전 및 영역 데이터를 Google Sheets로 가져오고 싶다. 주, 혹은 월단위로 동기화를 유지하고 싶다. 아래 사이트에서 GCP 의 region 정보들을 Google Sheets로 가져오고 싶다. 그리고 region이 추가 되면, 자동으로 Google Sheets에 region이 추가되면 좋겠다. 리전 및 영역 | Compute Engine 문서 | Google Cloud 의견 보내기 리전 및 영역 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. Compute Engine 리소스는 전 세계 여러 곳에서 호스팅됩니다. 이러한 위치는 리전과 영 cloud.google.com 크롤링을 위해 Cheerio 라이브러리를 등록한다. (Cheerio ..

💡 Apps Script로 Google Sheets에 활성(선택)영역을 지정한다. 웹 프로그램에서 setFocus()와 비슷한 효과를 줄 수 있다. 간단한 사용법과 응용 예제를 알아본다. SpreadsheetApp 에서 제공하는 setActiveRange() 를 이용해 아래와 같이 Google Sheets의 활성(선택)영역을 지정해 줄 수 있다. 아래와 같이 setActiveRange() 안에 range 를 넣어줘야 한다. // 방식 #1 const range = sheet.getRange("A1"); sheet.setActiveRange(range); // 방식 #2 sheet.setActiveRange(sheet.getRange("A1")); 단일 영역 지정 function setCellPositon..

💡 Apps Script로 Google Sheets에서 정렬을 적용하는 방법을 알아본다. 데이터를 조회할 때 쿼리문의 order by 절에서 정렬을 해 줄 수도 있지만, Script로 처리하는 방법을 구현해본다. 아래와 같은 데이터가 있다. 일단 간단하게 첫번 째 행인 country 를 내림차순 정렬해보자. 정렬은 sort() 를 이용해 수행한다. 사용 방법은 sheet 안에 range 영역에서 sort를 수행하면 된다. function createSort() { const ss = SpreadsheetApp.getActiveSpreadsheet(); const sheet = ss.getSheetByName("tempature_all"); const range = sheet.getRange("A:E");..

💡Google Cloud Platform 에서 Cloud Shell 을 사용하는 방법을 알아본다. BigQuery 이관을 위해, Python 코드를 실행해야 했다. 콘솔의 우측상단의 버튼을 통해 접근하는 방법이 있고, 서비스 검색을 통해 접근하는 방법이 있다. VScode를 사용해 봤으면, 익숙한 화면일 것이다. 터미널을 통해 디렉토리를 생성하고. 생성한 폴더를 연다. New File로 실행할 Python 파일을 생성한다. 실행할 python 코드를 입력하고, 실행하는 형식으로 사용한다. 터미널을 보면, 노란색 괄호가 보인다. 현재 Cloud Shell 을 실행한 프로젝트가 종속되어 표시된다. 프로젝트를 변경하는 방법은 아래와 같다. 계정에 할당된 프로젝트 리스트 확인 wsseo@cloudshell:~ ..

Java로 GCP BigQuery의 dataset 을 가져와 봤으니, 데이터셋 안에 생성된 테이블의 데이터를 select query로 가져와본다. ■ 호출부 void contextLoads() throws Exception { System.out.println("############### start ###############"); String projectId = "projectId "; String datasetName = "datasetName "; String tableName = "tableName "; // select String selectQueryString = "SELECT col01, col02, col03 " + " FROM `" + projectId + "." + datasetN..

mssql 의 데이터를 가져와 Google Sheets에 데이터를 뿌려 줘 본다. 해당 Google Sheets의 데이터들의 내용을 주기적으로 MSSQL 데이터와 sync를 맟추고 싶다. 이를 해결하기 위해, Apps Script에서 제공하는 Trigger 중 Time-driven 을 이용한다. 일단 MSSQL의 데이터를 해당 sheet에 뿌려준다. const address = 'mssql ip address'; const port = 'mssql port'; const user = 'mssql user'; const userPwd = 'mssql password'; const db = 'mssql database'; const dbUrl = `jdbc:sqlserver://${address}:${por..

데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 전송 구성을 만들어 프로젝트, 위치 또는 둘 다에서 데이터 세트의 모든 테이블을 복사합니다. cloud.google.com Google Docs에서 제공하는 기본 코드는 아래와 같다. 진짜 말그대로 테스트용. from google.cloud import bigquery_datatransfer transfer_client = bigquery_datatransfer.DataTransferServiceClient() destination_project_id = "my-destination-project" ..

개요 US Region에 존재하는 3개의 프로젝트의 DataSet을 동일 프로젝트의 Seoul Region으로 이관한다. BigQuery Data Transfer Service 샘플 코드 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 전송 구성을 만들어 프로젝트, 위치 또는 둘 다에서 데이터 세트의 모든 테이블을 복 whiseung.tistory.com Migration Process Preview (사전작업) View, External 의 DDL문 미리 추출 (사전작업) 증분데이터 Sync 시간 미리 확인 (사전작업) 작업시간에 맞춰 Sync ..

💡GCP BigQuery 의 Region간 이동 (US to Seoul) 경험을 공유한다. US Rgeion 에 잘못 생성해 운영중인 BigQuery Dataset을 Seoul Region 으로 옮기려 한다. 기 생성된 Dataset의 Region 정보만 변경하고 싶지만, 한번 생성한 Dataset의 Region 변경은 불가능하다. 이미 US에 생성되어 데이터가 쌓이고 있기때문에 다시 Seoul Region에 dataset을 생성하고, 데이터를 옮겨야한다. 그래서 BigQuery Data Transfer Service (이하 DTS) 를 이용하여 Region 변경을 진행하려 한다. 선행작업으로 BigQuery Admin 권한을 부여하면, DTS 권한이 포함된다. bigquery.transfers.upda..