whistory

0. 서버 기본 설정 0.1 hostname 변경하기 (모든서버에서 작업) 구성할 kafka 서버에 hostname들을 각각 변경한 [ws@localhost~]$ sudo hostnamectl set-hostname kserver01 [sudo] ws의 암호: [ws@localhost~]$ [ws@localhost~]$ sudo hostnamectl set-hostname kserver02 [sudo] ws의 암호: [ws@localhost~]$ [ws@localhost~]$ sudo hostnamectl set-hostname kserver03 [sudo] ws의 암호: [ws@localhost~]$ 0.2 hosts 변경하기 (모든서버에서 작업) [ws@kserver01~]$ sudo vi /etc/..

신규 프로젝트가 대기중이다. docker 나 k8s를 사용하는 프로젝트라고 이야기를 듣고, 공부를 시작하게됫다. 개념같은건 인터넷에 많으니까.. 난알고있고 테스트를 진행한다. 도커 설치 [ws@zserver03 ~]$ curl -fsSL | sudo sh [sudo] ws의 암호: # Executing docker install script, commit: 4f282167c425347a931ccfd95cc91fab041d414f + sh -c 'yum install -y -q yum-utils' Delta RPMs disabled because /usr/bin/applydeltarpm not installed. + sh -c 'yum-config-manager --add-repo ' Loaded plug..

이 프로세스로 API를 가져와 BigQuery에 데이터를 저장하는 프로그램 개발한다. 테스트 중 InsertAll 로 저장한 테이블이 마음대로 컨트롤되지 않는다. 구글링해보니, InsertAll로 저장한 데이터는 일정시간동안 삭제할수 없다. BigQuery: 404 "Table is truncated." when insert right after truncate BigQuery: 404 "Table is truncated." when insert right after truncate I truncate my table by executing a queryJob described here: https://cloud.google.com/bigquery/docs/quickstarts/quickstart-cli..

void contextLoads() throws Exception { System.out.println("############### start ###############"); String projectId = "ecorbit-dev"; String datasetName = "test"; String tableName = "java_test3"; Boolean bulkInsertResult1 = bulkInsertBigQuery(projectId, datasetName, tableName, "test1"); System.out.println("Bulk insert ==> " + bulkInsertResult1); Boolean bulkInsertResult2 = bulkInsertBigQuery(pro..

GCP BigQuery에 쿼리문을 통해 데이터를 INSERT/UPDATE 한다. void contextLoads() throws Exception { System.out.println("############### start ###############"); String projectId = "projectId "; String datasetName = "datasetName "; String tableName = "tableName "; String bgDateTimeNow = ZonedDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd")) + "T" + ZonedDateTime.now().format(DateTimeFormatter.ofPa..

솔직히 지금 로직에 Select 는 필요없는데, 차근차근 테스트를 하기위해 Select를 만들어본다. 아마 Insert 후 rowcount 조회용도로 사용할듯. 호출부에서 projecid, datasetname, tablename 과 select query 문을 지정하고 void contextLoads() throws Exception { System.out.println("############### start ###############"); String projectId = "projectId "; String datasetName = "datasetName "; String tableName = "tableName "; // Select String selectQueryString = "SELEC..

새로운 프로젝트가 생겼다. JAVA 프로젝트에서 BigQuery 의 데이터를 저장하는 프로젝트다. JAVA... 몇년만인지 프로젝트를 세팅하고, 테스트를 진해한다. 일단 GCP의 Service Account json 파일을 이용해, 인증을 진행한다. /** * 구글 Service Account json파일을 통한 BigQuery 생성 * @param projectId * @return {BigQuery} */ public static BigQuery getBigQuery(String projectId) throws Exception, IOException { try { File credentialsPath; // 운영 if (projectId == "operation") { credentialsPath ..

LeicaQ 2022 Autumn

https://whiseung.tistory.com/m/entry/Cloud-Data-FusionCDF%EB%A1%9C-SAP-OData-%EB%A5%BC-BigQuery%EC%97%90-%EC%A0%80%EC%9E%A5%ED%95%A0%EB%95%8C-%EB%B2%8C%EC%96%B4%EC%A7%80%EB%8A%94-%EC%9D%B4%EC%8A%88 Cloud Data Fusion(CDF)으로 SAP OData 를 BigQuery에 저장할 때 벌어진 이슈 SAP 의 데이터를 OData를 이용해 BIgQuery에 저장하려고 한다. GCP 의 Data Fusion을 이용해 데이터를 적재한다. 데이터가 적은 경우는 괜찮았지만, 1만건 이상의 데이터를 조회할 때마다 데이터가 다르게 whiseung.tistor..

SAP 의 데이터를 OData를 이용해 BIgQuery에 저장하려고 한다. GCP 의 Data Fusion을 이용해 데이터를 적재한다. 데이터가 적은 경우는 괜찮았지만, 1만건 이상의 데이터를 조회할 때마다 데이터가 다르게 나온다. 돌릴때 마다 전체 row count는 동일하나, 데이터가 중복되거나 누락되는 케이스가 보인다. Data Fusion으로 Job실행 할 때마다, 가져오는 데이터가 다르다. (3차수의 데이터만 정상이다.) CDF 팀에 문의해보니 아래와 같은 답변이 왔다. The Cloud Data Fusion (CDF) Odata plugin uses these OData Service query options internally to partition the data (data is split..