Notion에서 만든 페이지를 공유한다.url이 먼가 맘에들지않는다. 사람들에게 공유할때도 url이 너무 길어 좋아보이지 않는다.그래서 나는 내 도메인과 연결해주고 싶다. 일단 cloudflare 로 도메인을 옮긴다.기존에 https://www.hosting.kr/ 에서 도메인을 등록했지만, DNS를 이동한다. cloudflare 는 검색하면 많이 나오니 패스.cloudflare 에서 먼저 applicaition을 생성해준다. Workers&Pages 화면에서 [Create application] 버튼을 누른다 [Start with Hello World!] 를 클릭한다. 워커 이름을 설정한다. 이 워커이름이 중요하다. 이렇게 저렇게 다해봤는데https://subdomain.whistory...

바이브코딩이 요즘 핫하길래 발을 담궈본다.클로드코드를 경험해보고 싶었지만, 먼저 오픈코드를 사용해본다. 오픈코드에 Azure OpenAI의 GPT-5.1 Codex Max 모델과한달 무료인 github copiot을 이용해 개발을 진행해보았다. 일단 결과물... http://finance.whistory.co.kr/ Whistory - Finance공지사항이 없습니다.finance.whistory.co.kr 개발환경 vscode + opencode + github copliot 오픈코드가 제대로 못알아먹는 경우가 종종있어서 (내가 질문을 잘못했을수도) 여기서 잠깐! Code Assistant GitHub Copilot vs OpenCode: AI 코딩 에이전트 비교GitHub Copilot과..

테스트중 이다. 회사 복리후생 문서를 읽어들여 해당 문서 기반으로 질문을하면 답변을 받는 챗봇을 구현해보았다. openai, langchain, gradio 이용 PDF의 장기근속 부분 PDF의 통신비 부분 챗봇에 질의 결과 주택청약 입주자공고문을 읽어서 돌리는데 This model's maximum context length is 4097 tokens. However, your messages resulted in 10033 tokens. Please reduce the length of the messages. 에러가 발생했다. 확인중

💡 hive query 에서 변수를 입력받아,변수를 활용하는 방법을 알아본다. hive query 에서 아래와 같은 방식으로 hivevar를 선언해준다. SET hivevar:from_month = SOMETHING; 변수를 선언하고, 생성한 변수를 사용는 query를 작성해보도록 한다. 변수를 string 값이 아닌, 쿼리문으로 선언 할 수 도 있다. SET hivevar:qs = date_format(add_months(trunc("${hivevar:from}", "MM) , CASE WHEN date_format("${hivevar:from}", "dd') < 17 THEN -2 ELSE -1 END) , 'yyyy-MM'); oozie workflow에서 'from' 과 'to'라는 날짜 변수를 ..

💡 oozie workflow에서, main workflow에서 sub worfklow 실행 시 하위task인 sub workflow로 변수를 보내준다. shell script는 from - to 날짜를 입력 받고, argument가 없으면 오늘 날짜를 return해주는 shell script이다. #!/bin/bash regex="[0-9]{4}-[0-9]{2}-[0-9]{2}" if [ -n "$1" ]; then if [[ $1 =~ $regex ]]: then if [[ $2 =~ $regex ]]: then fromInt=$(echo $1 | sed 's/-//g') fromInt=$(echo $2 | sed 's/-//g') if [ $(($fromInt < $toint)) == 1 ] || ..

💡 oozie에서 workflow 실행 시, 날짜를 argument로 입력 받아 다음 task(hive query)에서 where조건의 값으로 사용해본다. 1. 날짜를 입력 받을 shell script를 작성한다. #!/bin/bash if [ -n "$1" ]; then echo today=$1 else getdt=$(date +%Y-%m-%d) echo today=$getdt fi 위와 같은 형식으로 echo를 찍어준다. today=${date} 2. hadoop 명령어를 이용해 작성한 shell script를 hadoop에 업로드한다 $ hadoop fs -copyFromLocal check_date.sh /user/hue/oozie/script/ws_test_date_return 3. workfl..

python 3.6 버전의 패키지가 필요하다. 하지만 로컬 pc에 설치되어 사용중인 python은 3.9이다. 바로 venv를 실행하면, 3.9버전으로 생성이된다. PS C:\workspace\api> python --version Python 3.9.10 PS C:\workspace\api> mkdir setup 디렉터리: C:\workspace\api Mode LastWriteTime Length Name ---- ------------- ------ ---- d----- 2022-12-09 오후 1:58 setup PS C:\workspace\api> python -m venv .venv PS C:\workspace\api> .\.venv\Scripts\activate (.venv) PS C:\wo..

kosis 에서 제공하는건, [통계자료]와 [대용량통계자료] 두가지가 존재한다. 현재로썬, [대용량통계자료] 를 쓸일이 없긴한데 일단 테스트를 진행한다. 자료등록 URL을 생성하고, [URL생성]을 누른다. 대용량통계자료는 XLS와 SDMX를 제공한다. XLS는 엑셀형식이고, SDMX는 KOSIS에서 아래와 같이 설명하고 있다. KOSIS 공유서비스 자료 제공형태 중에서 SDMX는 XML의 일종으로서 통계에 특화된 XML로 보시면 됩니다. SDMX는 Statistical Data and Metadata eXchange의 약어로 통계작성기구(기관)간의 다양한 형태의 통계자료를 XML 기반으로 제공하여 교환과 공유를 효율적으로 지원합니다. SDMX 표준은 국제결제은행(BIS), 유럽중앙은행, 유럽통계처(Eu..

💡국가통계포털(KOSIS) 에서 제공하는 openAPI를 이용해 통계데이터를 수집해본다. 국가통계포털에서 제공하는 openAPI를 가져와 데이터를 적재하는 프로젝트가 생겼다. 일단 target은 AWS S3 일것으로 추측. 한스텝씩 테스트를 진행한다. KOSIS 통계자료 openAPI 사용 KOSIS 대용량통계자료 openAPI 를 이용해 parquet 파일 생성 KOSIS openAPI를 이용해 가져온 데이터를 AWS S3에 parquet 파일로 저장 일단 KOSIS의 openAPI 사용법을 확인해본다. KOSIS openAPI 사이트로 이동한다. (https://kosis.kr/openapi/index/index.jsp) 활용신청을 하고, [개발가이드] - [통계자료] 로 이동한다. [URL 생성] ..

0. 서버 기본 설정 0.1 hostname 변경하기 (모든서버에서 작업) 구성할 kafka 서버에 hostname들을 각각 변경한 [ws@localhost~]$ sudo hostnamectl set-hostname kserver01 [sudo] ws의 암호: [ws@localhost~]$ [ws@localhost~]$ sudo hostnamectl set-hostname kserver02 [sudo] ws의 암호: [ws@localhost~]$ [ws@localhost~]$ sudo hostnamectl set-hostname kserver03 [sudo] ws의 암호: [ws@localhost~]$ 0.2 hosts 변경하기 (모든서버에서 작업) [ws@kserver01~]$ sudo vi /etc/..