whistory

데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 전송 구성을 만들어 프로젝트, 위치 또는 둘 다에서 데이터 세트의 모든 테이블을 복사합니다. cloud.google.com Google Docs에서 제공하는 기본 코드는 아래와 같다. 진짜 말그대로 테스트용. from google.cloud import bigquery_datatransfer transfer_client = bigquery_datatransfer.DataTransferServiceClient() destination_project_id = "my-destination-project" ..

Google Sheets 는 공동 작업 툴이다. 서로 다른 부서(팀)의 파일에는 작업 권한이 없어야 한다. 하지만 부서(팀) 내에서 공통으로 사용하는 마스터성의 데이터들은 존재할 것이다. (예들 들면 드롭다운 구성) 만약 마스터 데이터의 수정이 일어나면 모든 부서(팀)의 Google Sheets를 열어 수정할 수는 없다. 그래서 공통으로 관리하는 sheet를 참조하여 작업을 진행한다. 물론 DB에 접근해서 가져오는 방법도 있지만, 쿼리를 통해 DB를 수정해야 하거나, 수정할 수 있는 페이지를 별도로 만들어야 할 것이다. 각각 영업팀에서 Master 시트의 데이터를 참조하는 방법은 아래와 같다. Google Sheets에서 제공하는 “IMPORTRANGE” 함수를 사용한다. =IMPORTRANGE(참조할_..

💡Apps Script에서 제공하는 trigger를 사용하고 느낀점을 적어보았다. 목차 1. Apps Script에서 제공하는 Trigger의 종류 2. Apps Script Trigger 사용 시 주의할 사항 3. 속도 이슈 4. 권한 이슈 5. Apps Script Trigger 활용 예시 1. Apps Script에서 제공하는 Trigger의 종류 Apps Script 에서는 두가지 trigger를 제공한다. 1.1 Simple Triggers Simple Triggers | Apps Script | Google Developers 간단한 트리거 | Apps Script | Google Developers 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to ..

💡Apps Script로 Google Sheets에서 Sidebar에 데이터를 선택하는 HTML 페이지를 불러오는 방법을 알아본다. 데이터를 조회하는 화면에서 조회조건인 G/L 계정 값들을 다중 선택 하여 조회하고 싶다는 요구 사항이 들어왔다. 처음엔 sheet edit trigger를 이용해 개발하였는데, 외부 trigger라 속도가 느렸다. https://whiseung.tistory.com/entry/Apps-Script%EB%A1%9C-Google-Sheets%EC%97%90%EC%84%9C-Dropdown-multi-select%EB%8B%A4%EC%A4%91%EC%84%A0%ED%83%9D-%EA%B5%AC%ED%98%84 Apps Script로 Google Sheets에서 Dropdown의 ..

💡Apps Script로 Google Sheets에서 소계를 생성해본다. 데이터들을 가져와서 뿌려줬다. 원가요소 별 소계 subtotal 를 생성해 달라는 요구 사항이 들어왔다. 쿼리로 만들 수 있지만, SUM을 이용해서 만들어 달라는 요구 사항이 들어왔다. 원본 데이터를 조회 해 sheet에 뿌려준 후, 원가요소들을 비교하여 행추가를 하고 sum 수식을 생성하여 추가해준다. /** * BigQuery에서 가져온 데이터를 Sheets에 뿌려주기 */ function getDataFromBigquery() { const datasetId = global_datasetId; const tableId = "standard_long"; const columns = 'BillingDocument, BillingQ..

Sheet 데이터를 BigQuery에 저장할 때, 나이, 성별을 필수 값으로 입력하고 싶다. dataNullCheck 함수와, reqIdx 를 추가한다. function insertSheetData() { const sheetUrl = SpreadsheetApp.getActiveSpreadsheet().getUrl(); const sheetName = "Sheet3" const sheet = SpreadsheetApp.openByUrl(sheetUrl).getSheetByName(sheetName); const table_id = "insert_test"; const reqIdx = [ {name:'이름(A' , index:1} , {name:'나이(B' , index:2} , {name:'성별(C' ,..

개요 US Region에 존재하는 3개의 프로젝트의 DataSet을 동일 프로젝트의 Seoul Region으로 이관한다. BigQuery Data Transfer Service 샘플 코드 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 전송 구성을 만들어 프로젝트, 위치 또는 둘 다에서 데이터 세트의 모든 테이블을 복 whiseung.tistory.com Migration Process Preview (사전작업) View, External 의 DDL문 미리 추출 (사전작업) 증분데이터 Sync 시간 미리 확인 (사전작업) 작업시간에 맞춰 Sync ..

💡GCP BigQuery 의 Region간 이동 (US to Seoul) 경험을 공유한다. US Rgeion 에 잘못 생성해 운영중인 BigQuery Dataset을 Seoul Region 으로 옮기려 한다. 기 생성된 Dataset의 Region 정보만 변경하고 싶지만, 한번 생성한 Dataset의 Region 변경은 불가능하다. 이미 US에 생성되어 데이터가 쌓이고 있기때문에 다시 Seoul Region에 dataset을 생성하고, 데이터를 옮겨야한다. 그래서 BigQuery Data Transfer Service (이하 DTS) 를 이용하여 Region 변경을 진행하려 한다. 선행작업으로 BigQuery Admin 권한을 부여하면, DTS 권한이 포함된다. bigquery.transfers.upda..

💡 Apps Script 프로젝트를 진행함에 있어, 유지보수를 용이하기 위해서, 공통모듈을 라이브러리로 배포하여 사용하는 방법이다. (실제 사용 샘플 / 2023-02-24 추가) Apps Script 라이브러리 생성해서 다른 Apps Script에서 사용하기 - 실제 사용 예 💡 Apps Script 를 이용해 실제로 개발했던 내용을 요약했다. https://whiseung.tistory.com/entry/Apps-Script-%EA%B0%9C%EB%B0%9C%EC%9D%84-%EC%9C%84%ED%95%9C-%ED%8C%8C-%EC%84%A4%EA%B3%84 Apps Script 개발을 위한 구조 설계 이번 프 whiseung.tistory.com 공통으로 사용해야 할 함수들을 포함한 library ..

💡Apps Script에서 Google Sheets에 입력한 데이터를 BigQuery에 저장하는 방법을 알아본다. 이제 Google Sheets의 데이터를 BigQuery에 저장해본다. BigQuery Service | Apps Script | Google Developers BigQuery 서비스 | Apps Script | Google Developers 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English 의견 보내기 BigQuery 서비스 BigQuery 서비스를 사용하면 Apps Script에서 Google BigQuery API를 사용할 수 있습니다. 이 API를 통해 사용 developers.google.com 데이터를 입력할 sheet와..