whistory

이 프로세스로 openAPI를 가져와 BigQuery에 데이터를 저장하는 프로그램 개발한다. 테스트 중 InsertAll 로 저장한 테이블이 마음대로 컨트롤되지 않는다. 찾아보니 : https://stackoverflow.com/questions/70013949/bigquery-404-table-is-truncated-when-insert-right-after-truncate BigQuery: 404 "Table is truncated." when insert right after truncate I truncate my table by executing a queryJob described here: https://cloud.google.com/bigquery/docs/quickstarts/quicks..

https://whiseung.tistory.com/entry/JAVA-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8%EB%A1%9C-GCP-BigQuery%EC%9D%98-INSERTUPDATE-%EC%BF%BC%EB%A6%AC-%EB%82%A0%EB%A0%A4%EB%B3%B4%EA%B8%B0 JAVA 프로젝트로 GCP BigQuery의 INSERT/UPDATE 쿼리 날려보기 https://whiseung.tistory.com/entry/JAVA-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8%EB%A1%9C-GCP-BigQuery%EC%9D%98-Select-%EC%BF%BC%EB%A6%AC-%EB%82%A0%EB%A0%A4%EB%B3%B4%EA%B8%B0 tru..

true Update ==> true ############### end ###############

Java로 GCP BigQuery의 dataset 을 가져와 봤으니, 데이터셋 안에 생성된 테이블의 데이터를 select query로 가져와본다. ■ 호출부 void contextLoads() throws Exception { System.out.println("############### start ###############"); String projectId = "projectId "; String datasetName = "datasetName "; String tableName = "tableName "; // select String selectQueryString = "SELECT col01, col02, col03 " + " FROM `" + projectId + "." + datasetN..

새로운 프로젝트가 생겼다. JAVA 프로젝트에서 BigQuery 의 데이터를 저장하는 프로젝트다. JAVA... 몇년만인지 프로젝트를 세팅하고, 테스트를 진해한다. 일단 GCP의 Service Account json 파일을 이용해, 인증을 진행한다. /** * 구글 Service Account json파일을 통한 BigQuery 생성 * @param projectId * @return {BigQuery} */ public static BigQuery getBigQuery(String projectId) throws Exception, IOException { try { File credentialsPath; // 운영 if (projectId == "operation") { credentialsPath ..

데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 전송 구성을 만들어 프로젝트, 위치 또는 둘 다에서 데이터 세트의 모든 테이블을 복사합니다. cloud.google.com Google Docs에서 제공하는 기본 코드는 아래와 같다. 진짜 말그대로 테스트용. from google.cloud import bigquery_datatransfer transfer_client = bigquery_datatransfer.DataTransferServiceClient() destination_project_id = "my-destination-project" ..

개요 US Region에 존재하는 3개의 프로젝트의 DataSet을 동일 프로젝트의 Seoul Region으로 이관한다. BigQuery Data Transfer Service 샘플 코드 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 데이터 세트 복사 | BigQuery Data Transfer Service | Google Cloud 전송 구성을 만들어 프로젝트, 위치 또는 둘 다에서 데이터 세트의 모든 테이블을 복 whiseung.tistory.com Migration Process Preview (사전작업) View, External 의 DDL문 미리 추출 (사전작업) 증분데이터 Sync 시간 미리 확인 (사전작업) 작업시간에 맞춰 Sync ..

💡GCP BigQuery 의 Region간 이동 (US to Seoul) 경험을 공유한다. US Rgeion 에 잘못 생성해 운영중인 BigQuery Dataset을 Seoul Region 으로 옮기려 한다. 기 생성된 Dataset의 Region 정보만 변경하고 싶지만, 한번 생성한 Dataset의 Region 변경은 불가능하다. 이미 US에 생성되어 데이터가 쌓이고 있기때문에 다시 Seoul Region에 dataset을 생성하고, 데이터를 옮겨야한다. 그래서 BigQuery Data Transfer Service (이하 DTS) 를 이용하여 Region 변경을 진행하려 한다. 선행작업으로 BigQuery Admin 권한을 부여하면, DTS 권한이 포함된다. bigquery.transfers.upda..