whistory

테스트중 이다. 회사 복리후생 문서를 읽어들여 해당 문서 기반으로 질문을하면 답변을 받는 챗봇을 구현해보았다. openai, langchain, gradio 이용 PDF의 장기근속 부분 PDF의 통신비 부분 챗봇에 질의 결과 주택청약 입주자공고문을 읽어서 돌리는데 This model's maximum context length is 4097 tokens. However, your messages resulted in 10033 tokens. Please reduce the length of the messages. 에러가 발생했다. 확인중

💡 hive query 에서 변수를 입력받아,변수를 활용하는 방법을 알아본다. hive query 에서 아래와 같은 방식으로 hivevar를 선언해준다. SET hivevar:from_month = SOMETHING; 변수를 선언하고, 생성한 변수를 사용는 query를 작성해보도록 한다. 변수를 string 값이 아닌, 쿼리문으로 선언 할 수 도 있다. SET hivevar:qs = date_format(add_months(trunc("${hivevar:from}", "MM) , CASE WHEN date_format("${hivevar:from}", "dd') < 17 THEN -2 ELSE -1 END) , 'yyyy-MM'); oozie workflow에서 'from' 과 'to'라는 날짜 변수를 ..

💡 oozie workflow에서, main workflow에서 sub worfklow 실행 시 하위task인 sub workflow로 변수를 보내준다. shell script는 from - to 날짜를 입력 받고, argument가 없으면 오늘 날짜를 return해주는 shell script이다. #!/bin/bash regex="[0-9]{4}-[0-9]{2}-[0-9]{2}" if [ -n "$1" ]; then if [[ $1 =~ $regex ]]: then if [[ $2 =~ $regex ]]: then fromInt=$(echo $1 | sed 's/-//g') fromInt=$(echo $2 | sed 's/-//g') if [ $(($fromInt < $toint)) == 1 ] || ..

💡 oozie에서 workflow 실행 시, 날짜를 argument로 입력 받아 다음 task(hive query)에서 where조건의 값으로 사용해본다. 1. 날짜를 입력 받을 shell script를 작성한다. #!/bin/bash if [ -n "$1" ]; then echo today=$1 else getdt=$(date +%Y-%m-%d) echo today=$getdt fi 위와 같은 형식으로 echo를 찍어준다. today=${date} 2. hadoop 명령어를 이용해 작성한 shell script를 hadoop에 업로드한다 $ hadoop fs -copyFromLocal check_date.sh /user/hue/oozie/script/ws_test_date_return 3. workfl..

python 3.6 버전의 패키지가 필요하다. 하지만 로컬 pc에 설치되어 사용중인 python은 3.9이다. 바로 venv를 실행하면, 3.9버전으로 생성이된다. PS C:\workspace\api> python --version Python 3.9.10 PS C:\workspace\api> mkdir setup 디렉터리: C:\workspace\api Mode LastWriteTime Length Name ---- ------------- ------ ---- d----- 2022-12-09 오후 1:58 setup PS C:\workspace\api> python -m venv .venv PS C:\workspace\api> .\.venv\Scripts\activate (.venv) PS C:\wo..

kosis 에서 제공하는건, [통계자료]와 [대용량통계자료] 두가지가 존재한다. 현재로썬, [대용량통계자료] 를 쓸일이 없긴한데 일단 테스트를 진행한다. 자료등록 URL을 생성하고, [URL생성]을 누른다. 대용량통계자료는 XLS와 SDMX를 제공한다. XLS는 엑셀형식이고, SDMX는 KOSIS에서 아래와 같이 설명하고 있다. KOSIS 공유서비스 자료 제공형태 중에서 SDMX는 XML의 일종으로서 통계에 특화된 XML로 보시면 됩니다. SDMX는 Statistical Data and Metadata eXchange의 약어로 통계작성기구(기관)간의 다양한 형태의 통계자료를 XML 기반으로 제공하여 교환과 공유를 효율적으로 지원합니다. SDMX 표준은 국제결제은행(BIS), 유럽중앙은행, 유럽통계처(Eu..

💡국가통계포털(KOSIS) 에서 제공하는 openAPI를 이용해 통계데이터를 수집해본다. 국가통계포털에서 제공하는 openAPI를 가져와 데이터를 적재하는 프로젝트가 생겼다. 일단 target은 AWS S3 일것으로 추측. 한스텝씩 테스트를 진행한다. KOSIS 통계자료 openAPI 사용 KOSIS 대용량통계자료 openAPI 를 이용해 parquet 파일 생성 KOSIS openAPI를 이용해 가져온 데이터를 AWS S3에 parquet 파일로 저장 일단 KOSIS의 openAPI 사용법을 확인해본다. KOSIS openAPI 사이트로 이동한다. (https://kosis.kr/openapi/index/index.jsp) 활용신청을 하고, [개발가이드] - [통계자료] 로 이동한다. [URL 생성] ..

0. 서버 기본 설정 0.1 hostname 변경하기 (모든서버에서 작업) 구성할 kafka 서버에 hostname들을 각각 변경한 [ws@localhost~]$ sudo hostnamectl set-hostname kserver01 [sudo] ws의 암호: [ws@localhost~]$ [ws@localhost~]$ sudo hostnamectl set-hostname kserver02 [sudo] ws의 암호: [ws@localhost~]$ [ws@localhost~]$ sudo hostnamectl set-hostname kserver03 [sudo] ws의 암호: [ws@localhost~]$ 0.2 hosts 변경하기 (모든서버에서 작업) [ws@kserver01~]$ sudo vi /etc/..

신규 프로젝트가 대기중이다. docker 나 k8s를 사용하는 프로젝트라고 이야기를 듣고, 공부를 시작하게됫다. 개념같은건 인터넷에 많으니까.. 난알고있고 테스트를 진행한다. 도커 설치 [ws@zserver03 ~]$ curl -fsSL | sudo sh [sudo] ws의 암호: # Executing docker install script, commit: 4f282167c425347a931ccfd95cc91fab041d414f + sh -c 'yum install -y -q yum-utils' Delta RPMs disabled because /usr/bin/applydeltarpm not installed. + sh -c 'yum-config-manager --add-repo ' Loaded plug..

바야흐로 2018년. 비트코인 1차 wave가 지나고, 신규 암호화폐 거래소 오픈 전 부하테스트를 진행한 경험 Test Plan --Thread Group ----HTTP Cookie Manager Name/Value/Domain/Path/Secure ----CSV Data Set Config Filename/VariableName/Delimiter ----Once Only Controller ------HTTP Request protocol = http/https server name or ip port method path (parameter 를 받고싶을경우 HTTP Request에서 Add) Reqular Experssion Extractor Name/ReqularExpression/Tmplate/..