개발일지 15

[NLP] Kiwi 설치와 keyBert 한글 키워드 추출

Keybert와 kiwi형태소분석기를 사용하여 키워드추출 하기 Keybert와 kiwi형태소분석기를 사용하여 키워드추출 하기1 2 # !pip install keybert # !pip install kiwipiepyhmkim312.github.io블로그를 참고한 것으로 거의 동일한 내용이니, 위 블로그를 봐주시면 더 자세한 설명을 볼 수 있습니다.설치pip install keybertpip install kiwipiepypip install transformersKeyBERT 공식 홈페이지  KeyBERTKeyBERT KeyBERT is a minimal and easy-to-use keyword extraction technique that leverages BERT embeddings to creat..

개발일지 2023.04.28

[TextRank] KR-WordRank 한국어 키워드 추출

https://github.com/lovit/KR-WordRank GitHub - lovit/KR-WordRank: 비지도학습 방법으로 한국어 텍스트에서 단어/키워드를 자동으로 추출하는비지도학습 방법으로 한국어 텍스트에서 단어/키워드를 자동으로 추출하는 라이브러리입니다. Contribute to lovit/KR-WordRank development by creating an account on GitHub.github.comhttps://pypi.org/project/krwordrank/ krwordrankKR-WordRank: Korean Unsupervised Word/Keyword Extractorpypi.org설치pip install krwordrank기본 활용from krwordrank.word..

개발일지 2023.04.27

[TextRank] pytextrank와 spacy 한글 키워드 추출

pytextrank 설치pip install pytextrankdependency로 spacy가 함께 설치됨 한국어 키워드 추출 예시근데 성능 진짜 안좋은거같음...파라미터 조작이나 한글 모델을 더 정교한거 아니면 힘든것같음encoding 깨지면 # -*- coding: utf-8 -*- 추가하기# -*- coding: utf-8 -*-import spacyimport pytextrank# scapy의 한국어모델인 ko_core_news_sm을 사용함 https://spacy.io/models/ko/# example texttext = "서울 지진 피해에 대한 데이터 분석을 위해서는 어떤 종류의 데이터를 사용해야 할지 먼저 생각해보아야 합니다. 예를 들어, 지진 발생 시간, 지진 규모, 지진 발생 지역,..

개발일지 2023.04.27

[django+elasticsearch+vue.js] (1) - 엘라스틱서치와 장고 설치하기

목표 도커로 elasticsearch, kibana, logstash 설치 django 설치 환경 window 10 vscode vscode 터미널 주의사항 이 블로그와 게시글은 기록용에 가깝기 때문에 설명이 정확하지 않으니, 공식 문서를 통해 개념을 정립하시길 바랍니다. 엘라스틱서치(Elasticsearch) docker로 설치하기 docker-elk 레포지토리는 도커로 손쉽게 elasticsearch, logstash, kibana를 설치할 수 있다. https://github.com/deviantony/docker-elk 위 깃허브를 fork하거나 다운로드하고, readme의 순서대로 진행한다. (Java Heap 문제가 종종 있으니, elasticsearch 도커의 공식문서 (링크))를 참고하길 ..

개발일지 2022.10.24