[Knowledge Graph] Unifying Large Language Models and Knowledge Graphs: A Roadmap

https://ieeexplore.ieee.org/document/10387715/

Unifying Large Language Models and Knowledge Graphs: A Roadmap

 

최근 KG와 LLM을 연구하는 프로젝트가 증가하고 있는데, 논문으로 정리된 것을 발견해서 큰 흐름을 정리할 용도로 훑어보는 중

 

 

초록

ChatGPT 및 GPT4와 같은 대형 언어 모델(LLM)은 창발적인 능력과 일반화 가능성으로 인해 자연어 처리 및 인공 지능 분야에 새로운 물결을 일으키고 있습니다. 그러나 LLM은 블랙박스 모델이므로 사실적 지식을 포착하고 접근하는 데 종종 부족합니다. 이와 대조적으로 지식 그래프(KG), Wikipedia, Huapu 등은 풍부한 사실 지식을 명시적으로 저장하는 구조화된 지식 모델입니다. KG는 추론 및 해석 가능성에 대한 외부 지식을 제공하여 LLM을 향상시킬 수 있습니다. 한편, KG는 본질적으로 구성하고 진화하기 어렵기 때문에 새로운 사실을 생성하고 보이지 않는 지식을 표현하기 위해 KG의 기존 방법에 도전합니다. 따라서 LLM과 KG를 함께 통합하고 동시에 장점을 활용하는 것은 상호보완적입니다. 이 기사에서는 LLM과 KG 통합을 위한 미래 지향적인 로드맵을 제시합니다. 우리의 로드맵은 세 가지 일반 프레임워크로 구성됩니다. 즉, 1) LLM의 사전 훈련 및 추론 단계에서 또는 LLM에서 학습한 지식에 대한 이해를 높이기 위한 목적으로 KG를 통합하는 KG 강화 LLM입니다. 2) 임베딩, 완성, 구성, 그래프-텍스트 생성 및 질문 답변과 같은 다양한 KG 작업에 LLM을 활용하는 LLM 확장 KG 3) LLM + KG의 시너지 효과. LLM과 KG가 동일한 역할을 수행하고 상호 이익이 되는 방식으로 작업하여 데이터와 지식을 기반으로 한 양방향 추론을 위해 LLM과 KG를 모두 향상시킵니다. 우리는 로드맵에서 이 세 가지 프레임워크 내에서 기존 노력을 검토 및 요약하고 향후 연구 방향을 정확히 찾아냅니다.

 

 

LLM and KG

• LLM에서 KG를 이용하는 이유
  • LLM의 사전 훈련 및 추론 단계에서 또는 LLM에서 학습한 지식에 대한 이해를 높이기 위한 목적
  • 임베딩, 완성, 구성, 그래프-텍스트 생성 및 질문 답변과 같은 다양한 KG 작업에 LLM을 활용
  • 데이터와 지식을 기반으로 하는 양방향 추론을 위해 LLM과 KG를 모두 향상시키는 시너지 효과

 1) LLM의 사전 훈련 및 추론 단계에서 또는 LLM에서 학습한 지식에 대한 이해를 높이기 위한 목적으로 KG를 통합하는 KG 강화 LLM 2) 임베딩, 완성, 구성, 그래프-텍스트 생성 및 질문 답변과 같은 다양한 KG 작업에 LLM을 활용하는 LLM 확장 KG 3) LLM과 KG가 동일한 역할을 수행하고 상호 이익이 되는 방식으로 작동하여 데이터와 지식을 기반으로 하는 양방향 추론을 위해 LLM과 KG를 모두 향상시키는 시너지 효과가 있는 LLM + KG입니다.

• 트리플 방식의 KG
• KG 임베딩
• KG에서 추출한 것을 프롬프트로..
• 최소단위/ 최소 엔티티로 KG의 장점을 극대화할수 있는 방향은?

KG를 만들기 위해 LLM을 사용하는 방법

“LLM을 KG 관련 작업의 텍스트 인코더로 적용하는 가장 간단한 방 법입니다. 연구자들은 LLM을 활용하여 KG의 텍스트 코퍼스를 처리한 다음 텍스트 표현을 사용하여 KG 표현을 풍부하게 합니다[94].” (Pan et al., 2024, p. 6)

--> 그래프를 사용해서 관계를 알아보려고 할땐 도움이 될듯. 텍스트/문서로 된 데이터가 있을 때 그 내용안에 있는 엔티티 사이의 관계를 찾고 새로운 발견을 하려고 할땐 도움이 됨.

“1)KG강화LLM사전: 교육사전 훈련 단계에서 KG를 적용하고 LLM의 지식 표현을 향상시키는 작업이 포함됩니다.

2)KG강화LLM추론: LLM의 추론 단계에서 KG를 활용하는 연구가 포함되어 있어 LLM이 재교육 없이 최신 지식에 액세스할 수 있습니다.

3)KG강화된LLM해석성: LLM이 학습한 지식을 이해하고 LLM의 추론 과정을 해석하기 위해 KG를 사용하는 작업이 포함됩니 다” (Pan et al., 2024, p. 6)

KG-enhanced LLMs

• pre-training할 때 KG를 사용
  • 어떻게 하는거지? 어떻게 전처리하는거지?
  • 사전학습 트레이닝 데이터셋을 KG를 사용한다는 건지 아니면 다른 얘기인건지?
  • “ERNIE 3.0 [101] represents the triple as a sequence of tokens and directly concatenates them with the sentences. It further randomly masks either the relation token in the triple or tokens in the sentences to better combine knowledge with textual representations. However, such direct knowledge triple concatenation method allows the tokens in the sentence to intensively interact with the tokens in the knowledge sub-graph, which could result in Knowledge Noise [36]” (Pan et al., 2024, p. 8) ERNIE 3.0 [101]은 트리플을 토큰 시퀀스로 표현하고 이를 문장과 직접 연결합니다. 또한 지식과 텍스트 표현을 더 잘 결합하기 위해 트리플의 관계 토큰이나 문장의 토큰을 무작위로 마스킹합니다. 그러나 이러한 직접 지식 삼중 연결 방식을 사용하면 문장 내 토큰이 지식 하위 그래프의 토큰과 집중적으로 상호 작용할 수 있어 지식 노이즈가 발생할 수 있습니다[36]
  • KG를 토큰화해서 학습시키면 맥락을 어떻게 살리는가? 정렬. LLM은 앞/뒤의 단어를 통해 추론하는 모델, LLM은 앞뒤의 토큰이 fact이기 때문에 정확도 업? KG로구축된 데이터를 모두 LLM에 학습시키면, 지식기반의 LLM일지?
• “직관적인 아이디어는 사전 훈련 목표에 더 많은 지식 개 체를 노출시키는 것입니다” (Pan et al., 2024, p. 7)

 

RAG

• “The key idea is to retrieve relevant knowledge from a large corpus and then fuse the retrieved knowledge into LLMs.” (Pan et al., 2024, p. 9) 핵심 아이디어는 대규모 자료에서 관련 지식을 검색한 다음 검색된 지식을 LLM에 융합하는 것입니다.

 

“Li et al. [64] adopt the pre-defined template to convert each triple into a short sentence, which can be understood by LLMs for reasoning.” (Pan et al., 2024, p. 9) Li et al. [64] 각 트리플을 LLM이 추론을 위해 이해할 수 있는 짧은 문장으로 변환하기 위해 미리 정의된 템플릿을 채택합니다.

이게 무슨의미일까? 미리정의된 템플릿..