여분의 해마

Ubuntu 20.04의 터미널 환경에서 직접 실행하는 경우 DB서버 내 경로를 인식할 수 있음 postgres@ubuntu:~$ export PGCLIENTENCODING='uhc' postgres@ubuntu:~$ psql test_db test_db=> set client_encoding='UHC'; #일회용 세션 # 우분투 서버 내의 파일경로 입력 test_db=> \copy test FROM '/home/data/test.txt' CSV DELIMITER '|'; # 헤더 없는 경우, 헤더 있을 시에는 `HEADER` 추가 >> COPY 193765 # 결과 set client_encoding 영구 설정 postgreSQL의 configration 수정해야함 우분투에서 apt로 설치한 경우, /..

서버환경 우분투 20.04 postgreSQL 12 postgreSQL 설치 (원격) sudo apt-get update sudo apt-get install postgresql 관련 설정 경로) /etc/postgresql/12/main shp 파일을 다루려면 postGIS과 shp2pgsql을 사용함 참고) - 한글이 들어간 데이터를 업로드할 예정이라 우분투의 locale을 ko_KR.UTF-8로 변경함 DB 생성 postgres(superuser)로 접속 sudo -u postgres psql DB 생성 시 인코딩 설정함 CREATE DATABASE address WITH ENCODING 'UTF-8' LC_COLLATE='ko_KR.UTF-8' LC_CTYPE='ko_KR.UTF-8' TEMPLA..

원격 서버에 postgreSQL이 설치만 되어있는 상황 서버환경 우분투 20.04 postgreSQL 12 로컬환경 window 10 postgreSQL 설치 (원격) sudo apt-get update sudo apt-get install postgresql 관련 설정 경로) /etc/postgresql/12/main 방화벽 & 외부접근 허용 설정 우분투) sudo ufw allow 5432 # 방화벽 열기 sudo systemctl enable postgresql #재시작 postgreSQL) - postgresql.conf # vim으로 편집할 경우 vim /etc/postgresql/12/main/postgresql.conf listen_addresses = '*' # 모든 접근 허용 - pg_h..

1. 사람들이 검색을 할 때 "바나나와 사과의 차이점" 이라고 검색을 하면, 키워드 추출로 "바나나", "사과"를 탐색하도록 하는 코드가 이전에 적었던 키워드 추출 관련 게시물이다 2. 키워드를 가지고 검색을 할 때, elasticsearch를 사용하고 쿼리문을 아래와 같이 작성하였다. 3. 보통 가장 먼저 나오는 단어에 가까운 검색결과를 원한다고 생각하기 때문에 첫 단어에 가중치를 더 주고 싶었다. chatGPT와 elastic 공식 문서를 참고하여 작성하였다. from elasticsearch_dsl import Search, Q, MultiMatch, Match search_query = ["바나나 사과 딸기"] s = Search(using=es, index="인덱스명") \ .query( Q('..

Keybert와 kiwi형태소분석기를 사용하여 키워드추출 하기 Keybert와 kiwi형태소분석기를 사용하여 키워드추출 하기1 2 # !pip install keybert # !pip install kiwipiepyhmkim312.github.io블로그를 참고한 것으로 거의 동일한 내용이니, 위 블로그를 봐주시면 더 자세한 설명을 볼 수 있습니다.설치pip install keybertpip install kiwipiepypip install transformersKeyBERT 공식 홈페이지  KeyBERTKeyBERT KeyBERT is a minimal and easy-to-use keyword extraction technique that leverages BERT embeddings to creat..

https://github.com/lovit/KR-WordRank GitHub - lovit/KR-WordRank: 비지도학습 방법으로 한국어 텍스트에서 단어/키워드를 자동으로 추출하는비지도학습 방법으로 한국어 텍스트에서 단어/키워드를 자동으로 추출하는 라이브러리입니다. Contribute to lovit/KR-WordRank development by creating an account on GitHub.github.comhttps://pypi.org/project/krwordrank/ krwordrankKR-WordRank: Korean Unsupervised Word/Keyword Extractorpypi.org설치pip install krwordrank기본 활용from krwordrank.word..

konlpy 설치https://konlpy.org/en/v0.6.0/install/ Installation — KoNLPy 0.6.0 documentationUbuntu Supported: Xenial(16.04.3 LTS), Bionic(18.04.3 LTS), Disco(19.04), Eoan(19.10) Install dependencies # Install Java 1.8 or up $ sudo apt-get install g++ openjdk-8-jdk python3-dev python3-pip curl Install KoNLPy $ python3 -m pip install --upgrade pipkonlpy.orghttps://github.com/konlpy/konlpy GitHub - kon..

pytextrank 설치pip install pytextrankdependency로 spacy가 함께 설치됨 한국어 키워드 추출 예시근데 성능 진짜 안좋은거같음...파라미터 조작이나 한글 모델을 더 정교한거 아니면 힘든것같음encoding 깨지면 # -*- coding: utf-8 -*- 추가하기# -*- coding: utf-8 -*-import spacyimport pytextrank# scapy의 한국어모델인 ko_core_news_sm을 사용함 https://spacy.io/models/ko/# example texttext = "서울 지진 피해에 대한 데이터 분석을 위해서는 어떤 종류의 데이터를 사용해야 할지 먼저 생각해보아야 합니다. 예를 들어, 지진 발생 시간, 지진 규모, 지진 발생 지역,..

목표 도커로 elasticsearch, kibana, logstash 설치 django 설치 환경 window 10 vscode vscode 터미널 주의사항 이 블로그와 게시글은 기록용에 가깝기 때문에 설명이 정확하지 않으니, 공식 문서를 통해 개념을 정립하시길 바랍니다. 엘라스틱서치(Elasticsearch) docker로 설치하기 docker-elk 레포지토리는 도커로 손쉽게 elasticsearch, logstash, kibana를 설치할 수 있다. https://github.com/deviantony/docker-elk 위 깃허브를 fork하거나 다운로드하고, readme의 순서대로 진행한다. (Java Heap 문제가 종종 있으니, elasticsearch 도커의 공식문서 (링크))를 참고하길 ..