whistory

void contextLoads() throws Exception { System.out.println("############### start ###############"); String projectId = "ecorbit-dev"; String datasetName = "test"; String tableName = "java_test3"; Boolean bulkInsertResult1 = bulkInsertBigQuery(projectId, datasetName, tableName, "test1"); System.out.println("Bulk insert ==> " + bulkInsertResult1); Boolean bulkInsertResult2 = bulkInsertBigQuery(pro..

GCP BigQuery에 쿼리문을 통해 데이터를 INSERT/UPDATE 한다. void contextLoads() throws Exception { System.out.println("############### start ###############"); String projectId = "projectId "; String datasetName = "datasetName "; String tableName = "tableName "; String bgDateTimeNow = ZonedDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd")) + "T" + ZonedDateTime.now().format(DateTimeFormatter.ofPa..

솔직히 지금 로직에 Select 는 필요없는데, 차근차근 테스트를 하기위해 Select를 만들어본다. 아마 Insert 후 rowcount 조회용도로 사용할듯. 호출부에서 projecid, datasetname, tablename 과 select query 문을 지정하고 void contextLoads() throws Exception { System.out.println("############### start ###############"); String projectId = "projectId "; String datasetName = "datasetName "; String tableName = "tableName "; // Select String selectQueryString = "SELEC..

새로운 프로젝트가 생겼다. JAVA 프로젝트에서 BigQuery 의 데이터를 저장하는 프로젝트다. JAVA... 몇년만인지 프로젝트를 세팅하고, 테스트를 진해한다. 일단 GCP의 Service Account json 파일을 이용해, 인증을 진행한다. /** * 구글 Service Account json파일을 통한 BigQuery 생성 * @param projectId * @return {BigQuery} */ public static BigQuery getBigQuery(String projectId) throws Exception, IOException { try { File credentialsPath; // 운영 if (projectId == "operation") { credentialsPath ..

LeicaQ 2022 Autumn

https://whiseung.tistory.com/m/entry/Cloud-Data-FusionCDF%EB%A1%9C-SAP-OData-%EB%A5%BC-BigQuery%EC%97%90-%EC%A0%80%EC%9E%A5%ED%95%A0%EB%95%8C-%EB%B2%8C%EC%96%B4%EC%A7%80%EB%8A%94-%EC%9D%B4%EC%8A%88 Cloud Data Fusion(CDF)으로 SAP OData 를 BigQuery에 저장할 때 벌어진 이슈 SAP 의 데이터를 OData를 이용해 BIgQuery에 저장하려고 한다. GCP 의 Data Fusion을 이용해 데이터를 적재한다. 데이터가 적은 경우는 괜찮았지만, 1만건 이상의 데이터를 조회할 때마다 데이터가 다르게 whiseung.tistor..

SAP 의 데이터를 OData를 이용해 BIgQuery에 저장하려고 한다. GCP 의 Data Fusion을 이용해 데이터를 적재한다. 데이터가 적은 경우는 괜찮았지만, 1만건 이상의 데이터를 조회할 때마다 데이터가 다르게 나온다. 돌릴때 마다 전체 row count는 동일하나, 데이터가 중복되거나 누락되는 케이스가 보인다. Data Fusion으로 Job실행 할 때마다, 가져오는 데이터가 다르다. (3차수의 데이터만 정상이다.) CDF 팀에 문의해보니 아래와 같은 답변이 왔다. The Cloud Data Fusion (CDF) Odata plugin uses these OData Service query options internally to partition the data (data is split..

요구사항으로 Google Sheets 를 통해 보고서 형식의 조회/입력 양식 개발건이 들어왔다. 조회는 원래 문서번호에 dropdown을 생성하여 변경 시 조회하도록 구성하였으나, Trigger의 속도가 느려, 문서 번호를 Sidebar에서 선택하는 방식으로 수정하였다. 조회 시 : BigQuery에서 데이터를 select 한 후 각각의 셀에 값 할당. 저장 시 : 조회할 영역별로 데이터를 저장. // 미팅목적 const meetingInfo = sheet.getRange("E13:BY15").getValues(); insert query문을 string으로 생성하여 저장하도록 구한함 // 미팅목적 for (i in meetingInfo) { valueText += meetingInfo[i][0] + '..

바야흐로 2018년. 비트코인 1차 wave가 지나고, 신규 암호화폐 거래소 오픈 전 부하테스트를 진행한 경험 Test Plan --Thread Group ----HTTP Cookie Manager Name/Value/Domain/Path/Secure ----CSV Data Set Config Filename/VariableName/Delimiter ----Once Only Controller ------HTTP Request protocol = http/https server name or ip port method path (parameter 를 받고싶을경우 HTTP Request에서 Add) Reqular Experssion Extractor Name/ReqularExpression/Tmplate/..

Power Apps에서 기본제공하는 PDF Viewer 컴포넌트를 사용해, 등록한 PDF 파일을 보여주려고한다. Azure Blob Storage에서 파일의 URL을 찾아, 해당 컴포넌트에서 불려오려고 하니 정상적으로 가져오지를 못했다. 그래서 아래와 같이 Power Automate를 이용해 가져와야 했다. Reference Real World PowerApps - How to view SharePoint PDF's in PowerApps (with some help from Flow) Real World PowerApps - How to view SharePoint PDF's in PowerApps (with some help from Flow) In this video Daniela (citizen ..