whistory

Java로 GCP BigQuery의 dataset 을 가져와 봤으니, 데이터셋 안에 생성된 테이블의 데이터를 select query로 가져와본다. ■ 호출부 void contextLoads() throws Exception { System.out.println("############### start ###############"); String projectId = "projectId "; String datasetName = "datasetName "; String tableName = "tableName "; // select String selectQueryString = "SELECT col01, col02, col03 " + " FROM `" + projectId + "." + datasetN..

데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 전송 구성을 만들어 프로젝트, 위치 또는 둘 다에서 데이터 세트의 모든 테이블을 복사합니다. cloud.google.com Google Docs에서 제공하는 기본 코드는 아래와 같다. 진짜 말그대로 테스트용. from google.cloud import bigquery_datatransfer transfer_client = bigquery_datatransfer.DataTransferServiceClient() destination_project_id = "my-destination-project" ..

개요 US Region에 존재하는 3개의 프로젝트의 DataSet을 동일 프로젝트의 Seoul Region으로 이관한다. BigQuery Data Transfer Service 샘플 코드 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 전송 구성을 만들어 프로젝트, 위치 또는 둘 다에서 데이터 세트의 모든 테이블을 복 whiseung.tistory.com Migration Process Preview (사전작업) View, External 의 DDL문 미리 추출 (사전작업) 증분데이터 Sync 시간 미리 확인 (사전작업) 작업시간에 맞춰 Sync ..

💡GCP BigQuery 의 Region간 이동 (US to Seoul) 경험을 공유한다. US Rgeion 에 잘못 생성해 운영중인 BigQuery Dataset을 Seoul Region 으로 옮기려 한다. 기 생성된 Dataset의 Region 정보만 변경하고 싶지만, 한번 생성한 Dataset의 Region 변경은 불가능하다. 이미 US에 생성되어 데이터가 쌓이고 있기때문에 다시 Seoul Region에 dataset을 생성하고, 데이터를 옮겨야한다. 그래서 BigQuery Data Transfer Service (이하 DTS) 를 이용하여 Region 변경을 진행하려 한다. 선행작업으로 BigQuery Admin 권한을 부여하면, DTS 권한이 포함된다. bigquery.transfers.upda..

💡Apps Script에서 Google Sheets에 입력한 데이터를 BigQuery에 저장하는 방법을 알아본다. 이제 Google Sheets의 데이터를 BigQuery에 저장해본다. BigQuery Service | Apps Script | Google Developers BigQuery 서비스 | Apps Script | Google Developers 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English 의견 보내기 BigQuery 서비스 BigQuery 서비스를 사용하면 Apps Script에서 Google BigQuery API를 사용할 수 있습니다. 이 API를 통해 사용 developers.google.com 데이터를 입력할 sheet와..

그럼, 데이터를 조회해서 바로 Google Sheets에 바로 뿌려줄 수 있는 기능을 구현해본다. 초기에 작성한 부분이라, 모든 함수를 호출 할 때 SheetUrl, SheetName 을 계속 호출하는데 excuteA(sheetUrl, sheetName); excuteB(sheetUrl, sheetName); excuteC(sheetUrl, sheetName); 앞으로 개발 할 때는 sheet 를 먼저 선언하고, sheet를 넘겨 매번 sheet를 호출하는 작업을 없애야함 var sheet = SpreadsheetApp.openByUrl(sheetUrl).getSheetByName(sheetName); excuteA(sheet); excuteB(sheet); excuteC(sheet); 데이터 조회하는 ..

Apps Script로 BigQuery 의 데이터를 읽고 쓰기를 한다. Services 에서 [+] 버튼을 누르고, BigQuery API를 선택한다. BigQuery 의 쿼리문 실행 샘플 /** * Query 실행 및 결과반환 * select / insert / update * @param {string} queryString = Query */ function queryExcute(queryString) { queryString = 'SELECT BillingDocument, BillingQuantityUnit, NetAmount, TaxAmount, BillingDocumentItemText FROM `project_id.dataset_id.standard_long` WHERE Transaction..