[스크랩] Going Meta - RAG with Knowledge Graphs (with Neo4j)

RAG+KG와 관련된 글, 논문, 영상을 최근 자주 접하고 있다.

스크랩용으로 링크와 짧게 어떤 내용인지 AI요약으로 정리하고, 추후 천천히 볼 예정

 

지식그래프와 LLM에 대한 글을 찾아보면 체감상 90%는 neo4j의 데이터베이스를 사용한 경우라 property graph위주로 보인다.

 

실제로 neo4j가 공격적으로 KG+LLM 연구를 진행하고 있다고 봄

 

Neo4j가 Going Meta라는 프로그램을 유튜브에서 공개하는데

 

오늘(2024-05-20)기준으로 27개 영상이 있는데, 기본적인 지식그래프, 온톨로지 지식이 있다면 필요한 부분만 들어도 될 것 같다.

 

아래는 들으면 좋을 것 같은 영상 몇개를 골라봄

 

• Going meta - Ep 7: Generating natural language from your knowledge graph by annotating ontologies

https://www.youtube.com/live/Y_IygO4MOqc?si=m0ANnCFeZaAJjH0D

 

에피소드의 주제는 '지식 그래프를 활용한 자연어 생성'

온톨로지 및 프로테제 도구 사용법: 프로테제(Protégé) 도구를 사용해 온톨로지를 생성하고 주석을 추가하는 과정을 설명합니다. 예를 들어, 특정 영화에 출연한 배우를 설명하는 주석을 추가하는 방법을 시연합니다.

네오4j와 RDF 통합: 네오4j 데이터베이스와 RDF(Resource Description Framework) 데이터를 통합하는 방법을 보여줍니다. 주석을 통해 생성된 자연어 텍스트를 데이터베이스에 적용하고, 이를 통해 사람과 영화 간의 관계를 설명합니다.

 

• Going Meta - Ep 12: Importing RDF data into Aura with Python + RDFLib

https://www.youtube.com/live/DWINSvRxIbw?si=YBlXBpL_qZxa38Uz

1. Neo4j와 RDFLib의 연동: RDF 데이터를 Neo4j Aura에 Python과 RDFLib를 사용해 가져오는 방법을 다룹니다. Neo4j의 Neo semantics 확장을 사용하지 않고도 Cypher 쿼리를 통해 데이터를 가져오는 대안적인 방법을 소개합니다.
2. 실습 데모: 빈 Aura 인스턴스를 시작하여 RDF 데이터를 가져오는 과정을 시연합니다. RDFLib를 사용해 RDF 데이터를 생성하고 이를 Neo4j 데이터베이스에 저장하는 방법을 보여줍니다.
3. 기술적 설명: RDF 데이터를 Neo4j로 가져오는 방법에 대한 구체적인 설명이 포함됩니다. RDFLib를 사용하여 RDF 데이터를 처리하고, Cypher 쿼리를 생성해 Neo4j 데이터베이스에 저장하는 과정을 설명합니다.

 

• Going Meta - Ep 18: Easy Full-Graph Migrations from Triple Stores to Neo4j

https://www.youtube.com/live/9DDdFKVvZQc?si=24M085Gnhmy2Aeow

1. 주제 및 배경: 이 에피소드는 Triple Stores에서 Neo4j로 데이터 마이그레이션하는 방법을 다루며, 사용자는 Neo4j의 강력한 그래프 데이터베이스 기능을 활용할 수 있습니다.
2. 마이그레이션 과정 설명: 스타독(StarDog) 클라우드 데이터베이스의 데이터를 내보내고, Neo4j로 가져오는 단계를 상세히 설명합니다. 이는 기본적으로 RDF 데이터를 가져와 Neo4j에 적재하는 과정입니다.
3. 실제 데이터 예제: 음악 데이터셋을 사용하여 마이그레이션 예제를 진행합니다. 이는 밴드 멤버 정보와 앨범 데이터를 포함하며, RDF 데이터를 SPARQL 쿼리로 조회하고 Neo4j에 적재하는 과정을 보여줍니다.
4. 마이그레이션 후 데이터 검증: 마이그레이션된 데이터가 Neo4j에서 정확히 적재되었는지 확인하는 방법을 설명합니다. RDF 트리플이 Neo4j의 그래프 데이터로 변환되었는지 검증합니다.

 

에피소트 22~27까지는 KG+LLM에 대한 직접적인 내용이라서 쭉 들어보는게 좋을듯 

 

https://www.youtube.com/live/9DxwgIKVSHY?si=N-GlsOPC6zk9INVs

• Going Meta - Ep 22: RAG with Knowledge Graphs

1. RAG와 Knowledge Graph의 개요: 오늘의 주제는 Retrieval-Augmented Generation(RAG)와 Knowledge Graph를 활용한 정보 검색 및 생성에 대한 설명이다. 이를 통해 외부 데이터베이스를 참조하여 질문에 대한 컨텍스트를 제공하는 방법을 논의한다.
2. 벡터 기반 검색의 중요성: 벡터 기반 검색을 통해 질문을 벡터화하여 벡터 데이터베이스에서 관련 정보를 찾는 과정을 설명한다. 이는 유클리드 거리나 코사인 거리를 사용하여 유사도를 계산한다.
3. 지식 그래프를 통한 컨텍스트 확장: 지식 그래프를 사용하여 컨텍스트를 확장하고, 구조화된 정보를 통해 더 정확한 답변을 생성하는 방법을 설명한다. 이는 문서의 청킹(chunking) 과정을 통해 이루어진다.
4. 실제 예시와 라이브 코딩: 예시로 DevOps RAG 애플리케이션을 소개하며, 라이브 코딩 세션을 통해 실제 데이터베이스 쿼리와 결과를 시연한다. 이를 통해 RAG와 지식 그래프의 통합 방법을 구체적으로 보여준다.

 

• Going Meta - Ep 24: KG+LLMs: Ontology driven RAG patterns

1. RAG 개념 소개: RAG(Recap And Generation) 패턴은 대형 언어 모델(LLM)을 외부 정보 소스와 통합하는 접근 방식으로 설명됩니다. 이를 통해 모델의 언어 생성 능력을 활용하여 벡터화된 정보를 검색하고 이를 사용해 질문에 대한 관련 정보를 제공합니다.
2. 그래프와 벡터 검색 통합: 그래프 탐색과 벡터 검색을 통합하는 방법에 대해 논의합니다. 특히, 벡터화된 정보를 그래프의 노드로 표현하여 검색 공간에서 이를 활용하는 과정을 설명합니다.
3. 온톨로지 기반 쿼리 생성: 온톨지를 사용해 동적으로 쿼리를 생성하는 방법을 다룹니다. 이를 통해 애플리케이션의 쿼리 로직을 온톨지 정의에 따라 유연하게 변경할 수 있게 됩니다.

 

Github 레포지토리로 코드도 공유: https://github.com/jbarrasa/goingmeta