여분의 해마

유튜브에서 간단히 개념과 예제를 제공하는 강의가 있어서 공유코딩애플의 '2시간만에 웹서버 쉽게 개발하기 (Node.js+MongoDB)'일부 강의만 유튜브이고, 나머지는 강의수강을 해야 볼 수 있음https://codingapple.com/https://youtu.be/pTm5E3jcOeY?si=PDDn7leIFBWiGMWyJavascript는 HTML을 조작하기 위한 것이고, 크롬에서 만든 자바스크립트 해석 엔진이 독자적으로 발전해서 Node.js가 됨Event-drive, Non-blocking이란?영화관 웹서버가 있다고 할 때, 티켓을 제공하는 일반적인 서버가 있음일반 언어로 개발하면, 웹 서버는 순차적으로 해결함. 오래걸리는 요청(200석 예매)을 하면, 다 처리할 때까지 다른 요청을 못받음반면,..

difflib.get_close_matches를 사용하여 데이터명 매칭하기데이터 정제와 분석을 할 때, 여러 데이터프레임 간의 데이터명을 비교하고 유사한 항목을 찾는 작업이 종종 필요합니다. 이때 Python의 difflib 모듈을 사용하면 매우 유용합니다. 이번 글에서는 difflib.get_close_matches 함수를 활용하여 두 데이터프레임 간의 유사한 데이터명을 찾아 매칭하는 방법을 소개합니다.사용 예시1. 데이터프레임 준비우선, 예시 데이터를 포함한 두 개의 데이터프레임을 준비합니다. import pandas as pd# 예시 데이터프레임df1 = pd.DataFrame({ '데이터명': ['서울특별시', '부산광역시', '대구광역시', '인천광역시', '광주광역시']})d2f = pd..

지식그래프는 주어-술어-목적어로 구성되어 데이터의 엔티티를 의미적인 관계로 표현함최근 LLM에 사실정보를 추가하기 위한 방안으로 KG를 사용하면서 '지식그래프 임베딩 (Knowledge Graph Embedding, KGE)' 기법에 대한 글, 논문이 생겨나고 있음 관련 프로젝트를 진행해야해서 참고할만한 글을 스크랩하려고 한다.대부분 medium의 메일링을 통해서 얻는 정보이고, 종종 논문에 대한 것도 함께 있다. Knowledge Graph Embeddings: Unraveling the What, Why, and How Knowledge Graph Embeddings: Unraveling the What, Why, and HowKGEs map knowledge graphs into vectors, p..

https://ieeexplore.ieee.org/document/10387715/ Unifying Large Language Models and Knowledge Graphs: A RoadmapLarge language models (LLMs), such as ChatGPT and GPT4, are making new waves in the field of natural language processing and artificial intelligence, due to their emergent ability and generalizability. However, LLMs are black-box models, which often fall sieeexplore.ieee.org 최근 KG와 LLM을 연..

RAG+KG와 관련된 글, 논문, 영상을 최근 자주 접하고 있다.스크랩용으로 링크와 짧게 어떤 내용인지 AI요약으로 정리하고, 추후 천천히 볼 예정 지식그래프와 LLM에 대한 글을 찾아보면 체감상 90%는 neo4j의 데이터베이스를 사용한 경우라 property graph위주로 보인다. 실제로 neo4j가 공격적으로 KG+LLM 연구를 진행하고 있다고 봄 Neo4j가 Going Meta라는 프로그램을 유튜브에서 공개하는데 오늘(2024-05-20)기준으로 27개 영상이 있는데, 기본적인 지식그래프, 온톨로지 지식이 있다면 필요한 부분만 들어도 될 것 같다. 아래는 들으면 좋을 것 같은 영상 몇개를 골라봄 Going meta - Ep 7: Generating natural language from your..

import jsonimport pandas as pddef flatten_json(d, parent_key="", results=[]): """ JSON 또는 딕셔너리 데이터를 평평한 구조로 변환하고, 키-값 쌍을 데이터프레임으로 저장합니다. Args: d (dict or json): JSON 또는 딕셔너리 데이터 parent_key (str): 상위 키 (재귀 호출 시 사용) results (list): 데이터프레임에 저장될 결과 목록 Returns: pandas.DataFrame: 키-값 쌍을 포함하는 데이터프레임 """ if isinstance(d, dict): for k..

위 그림처럼 한 셀에 리스트 형태로 되어있는 데이터프레임은 write_csv로 저장하려 했더니 오류가 났다. CSV는 nested 형태로 저장이 안된다는 문구만 보고 오류를 해결해서 csv로 저장한 사례는 못찾아서 write_excel로 저장했더니 성공했다.

# 1. 데이터프레임의 null 값 개수 계산 null_count = df.null_count() # 2. Series 객체의 첫 번째 행만 추출 head_row = null_count.head(1) # 3. 첫 번째 행의 첫 번째 값만 추출 (리스트 형태) value = [value[0] for value in head_row] # 4. 리스트를 변환하여 최종 결과 반환 result = pl.Series(value).to_list() # 한번에 조합한 코드 pl.Series([value[0] for value in df.null_count().head(1)]).to_list() data.null_count() 함수를 사용하여 데이터프레임의 각 컬럼에 대한 null 값의 개수를 계산함 이 때, 출력값은 ..

Polars 라이브러리를 사용하여 데이터 탐색적 분석(EDA) 코드를 만드는 방법을 소개합니다. 특히, 컬럼 수, 행 수, 결측값 수 등 기본적인 EDA 정보를 계산하는 코드를 다룹니다. import chardet#polarsimport polars as plfile_name = "데이터 경로"charenc = detect_enc(file_name)# open filedata = pl.read_csv(file_name, encoding = charenc, ignore_errors= True, low_memory=False, truncate_ragged_lines = True, infer_schema_length=0)# 컬럼명column_list = list(data.columns)# 컬럼 수column..

영상의 음성만 추출해서 번역하거나, 자막을 만들고 싶어서 찾아본 라이브러리 중 moviepy 사용 단순 음성 추출용으로 사용했지만, 비디오의 비율이나 속도를 조절할 수 있는 라이브러리라서 추후에 간단히 사용하기 좋을 것 같습니다. 설치 터미널에서 pip로 설치함 pip install moviepy 사용 예시 from moviepy.editor import * video = VideoFileClip("test.mp4") # 사용할 mp4 불러오기 video = video.speedx(1.5) # 1.5배속 video.audio.write_audiofile("test.mp3") # 1.5배속한 영상을 mp3로 변환하기 -> 로컬에 저장됨 참고자료 https://dev.to/jimajs/how-to-conve..