지식그래프 기반 LLM 추론 연구 동향

• 본 글은 저의 대학원 과제 보고서를 요약하여 블로그로 작성한 것입니다.

추론이란?

1.1 추론의 기본 개념

추론은 사실과 논리를 사용하여 답을 찾는 과정으로, 크게 3가지 유형이 있다.

• 연역적 추론(Deductive Reasoning)
  • 전제에서 확실한 결론을 도출하는 방식
  • 논리적 필연성에 기반
  • 주어진 전제에서 확실한 결론 도출
• 귀납적 추론(Inductive Reasoning)
  • 관찰을 통해 가능성 높은 결론을 예측
  • 경험적 관찰에 기반
  • 확률적 결론 도출
• 가추적 추론(Abductive Reasoning)
  • 관찰된 현상을 설명할 수 있는 가능성이 높은 것을 찾는 방식
  • 현상의 원인을 추정

 

1.2 추론의 형식적 구분

• Formal 추론
  • 규칙 기반으로 지식을 토대로 논리적 규칙에 따라 결론 도출
  • 명시적이고 체계적인 접근
• Informal 추론
  • 직관이나 상식을 통해 결론에 도달
  • 경험과 직관에 기반한 유연한 접근

 

2. Neural, Symbolic, Neural-Symbolic 접근법

Zhang, J., Chen, B., Zhang, L., Ke, X., Ding, H., 2021. Neural, symbolic and neural-symbolic reasoning on knowledge graphs. AI Open 2, 14–35. https://doi.org/10.48550/arXiv.2010.05446

Neural, Symbolic and Neural-Symbolic Reasoning on Knowledge Graphs

 

2.1 Neural Reasoning

• 특징과 장점
  • 기계학습과 언어모델에 기반한 통계적 접근
  • 대량의 텍스트나 이미지 데이터로부터 패턴을 학습
  • 다양한 맥락에서 유연한 추론 가능
  • 최근의 대규모 언어 모델이 대표적 예시
• 한계점
  • 학습 데이터에 의존적
  • 추론 과정의 명시성 부족
  • 설명 가능성이 제한적

 

2.2 Symbolic Reasoning

• 핵심 특징
  • 지식그래프나 온톨로지와 같은 구조화된 표현 사용
  • 개념들 간의 관계를 명시적으로 정의
  • 논리적 규칙에 기반한 추론 수행
• 장단점
  • 장점:
    • 추론 과정이 명확하고 설명 가능
    • 논리적 일관성 보장
  • 단점:
    • 복잡한 구조 설계 필요
    • 상당한 계산 자원 요구
    • 새로운 지식 추가와 규칙 갱신이 어려움

 

2.3 Neural-Symbolic Reasoning

1980년대부터 연구되어 온 통합적 접근법으로, 세 가지 주요 방향으로 발전함

• 기호 주도 신경 추론(Symbolic-driven neural reasoning)
  • 기호적 규칙을 활용하여 신경망 학습 개선
  • 지식그래프의 원래 삼중항과 기호 규칙으로 추론된 삼중항 함께 학습
• 기호 주도 확률 추론(Symbolic-driven probabilistic reasoning)
  • 기호 규칙을 확률 모델의 특징으로 사용
  • 논리 규칙을 지식그래프에 적용하여 신뢰도 평가
• 신경 주도 기호 추론(Neural-driven symbolic reasoning)
  • 신경망을 사용하여 논리 규칙 유도
  • 데이터의 불확실성과 모호성 처리
  • 기호 추론의 검색 공간을 효율적으로 축소

 

3. 주요 연구 동향

3.1 LINC (Logical Inference via Neurosymbolic Computation)

Olausson, T., Gu, A., Lipkin, B., Zhang, C., Solar-Lezama, A., Tenenbaum, J., Levy, R., 2023. LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers, in: Bouamor, H., Pino, J., Bali, K. (Eds.), Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. Presented at the EMNLP 2023, Association for Computational Linguistics, Singapore, pp. 5153–5176. https://doi.org/10.18653/v1/2023.emnlp-main.313

LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers

• 핵심 특징
  • LLM을 의미 분석기로 활용
  • 자연어로 표현된 전제와 결론을 1차 논리(FOL) 표현으로 변환
  • 외부 정리 증명기에 전달하여 연역적 추론 수행
• 성과
  • StarCoder+(15.5B 매개변수)로도 GPT-3.5와 GPT-4의 Chain-of-Thought 프롬프팅보다 각각 38%, 10% 높은 성능 달성
  • Neurosymbolic 접근 방식의 효과성 입증

 

3.2 KoPA (Knowledge Prefix Adapter)

Zhang, Y., Chen, Z., Guo, L., Xu, Y., Zhang, W., Chen, H., 2024. Making Large Language Models Perform Better in Knowledge Graph Completion. https://doi.org/10.48550/arXiv.2310.06671

Making Large Language Models Perform Better in Knowledge Graph Completion

• 주요 기능
  • 구조적 사전학습과 지식 접두사 어댑터를 통해 구조적 정보를 LLM에 주입
  • 지식그래프 내 엔티티와 관계의 구조적 정보를 자체 지도 학습으로 학습
• 작동 방식
  • 구조적 임베딩을 LLM이 이해할 수 있는 텍스트 공간으로 투영
  • 가상 지식 토큰을 생성하여 입력 프롬프트의 접두사로 추가
• 장단점
  • 장점: 새로운 엔티티에 대한 일반화 성능이 우수함. 학습된 지식을 효과적으로 전달
  • 단점: 계산 비용이 높음, 프롬프트 길이가 길어질 수 있음

 

3.3 GLAR (Global-Local Anchor Representation)

Zhang, Y., Chen, Z., Guo, L., Xu, Y., Zhang, W., Chen, H., 2024. Making Large Language Models Perform Better in Knowledge Graph Completion. https://doi.org/10.48550/arXiv.2310.06671

Making Large Language Models Perform Better in Knowledge Graph Completion

• 특징
  • 귀납적 KGC를 위한 새로운 접근법
  • 모든 후보를 포함하는 공통된 개방형 부분 그래프 사용
  • 지역적-전역적 앵커를 통해 개체의 독립적 특징 학습
• 장단점
  • 장점:효율적인 추론과 강력한 귀납적 능력
  • 단점:희소 그래프에서 성능 저하 가능성이 있음

 

3.4 RoG (Reasoning on Graphs)

Luo, L., Li, Y.-F., Haffari, G., Pan, S., 2024. Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning. https://doi.org/10.48550/arXiv.2310.01061

Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning

• 주요 구성
  • 계획-검색-추론 프레임워크를 통해 LLM과 지식그래프 결합
  • KG 기반의 관계 경로를 계획으로 생성
  • 제약 조건이 있는 너비 우선 탐색으로 추론 경로 검색
• 성과
  • WebQSP 데이터셋: SOTA 방법인 DECAF보다 4.4% 향상
  • CWQ 데이터셋: UniKGQA 모델보다 22.3% 향상
  • 복잡한 다중 홉 질문에서 우수한 성능

 

3.5 Think-on-Graph (ToG)

Sun, J., Xu, C., Tang, L., Wang, S., Lin, C., Gong, Y., Ni, L.M., Shum, H.-Y., Guo, J., 2024. Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph. https://doi.org/10.48550/arXiv.2307.07697

Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph

Ma, S., Xu, C., Jiang, X., Li, M., Qu, H., Yang, C., Mao, J., Guo, J., 2024. Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation. https://doi.org/10.48550/arXiv.2407.10805

Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation

• 기본 개념
  • LLM을 에이전트로 활용
  • 지식그래프 상에서 빔 검색(Beam Search)을 통해 추론 경로 탐색
  • "LLM⊗KG" 패러다임 제시
• ToG-2로의 발전
  • 구조화된 지식그래프와 비구조화된 텍스트 문서 결합
  • 하이브리드 RAG 프레임워크 구현
  • 양방향 접근:
    • 지식그래프로 문서 간 연결 탐색
    • 문서 정보로 그래프 탐색 정확도 향상
• 성과
  • GPT-3.5 사용 시 7개 중 6개의 지식 집약적 데이터셋에서 최고 성능
  • LLAMA-2-13B와 같은 소규모 모델의 성능을 GPT-3.5 수준으로 향상

 

3.6 Chain-of-Knowledge (CoK)

Li, X., Zhao, R., Chia, Y.K., Ding, B., Joty, S., Poria, S., Bing, L., 2023. Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Heterogeneous Sources. Presented at the The Twelfth International Conference on Learning Representations. https://openreview.net/forum?id=cPgh4gWZlz

CoK의 세부 구현

Chain-of-Knowledge는 추론 준비, 동적 지식 적응, 답변 통합의 세 단계로 구성된 프레임워크다.

 

추론 준비 단계

추론 준비 단계에서는 입력된 질문에 대한 기초적인 분석과 준비 작업이 이루어진다. 주어진 질문에 대한 예비 근거를 먼저 생성하고, 이를 바탕으로 관련된 지식 도메인을 식별한다. 이 과정에서 사실, 의학, 물리학, 생물학 등 다양한 도메인을 통합적으로 고려하여 가장 적절한 지식 소스를 결정한다.

 

동적 지식 적응 단계

이 단계의 핵심은 적응형 쿼리 생성기(Adaptive Query Generator, AQG)다. AQG는 다음과 같은 특징을 가진다.

1. 다중 쿼리 언어 지원
   • SPARQL, SQL, 자연어 문장 등 다양한 쿼리 언어를 상황에 맞게 생성
   • 각 지식 소스의 특성에 맞는 최적의 쿼리 형식 선택
2. 도메인별 최적화
   • 일반적인 사실 지식 소스: ChatGPT와 같은 기성형 LLM 활용
   • 특정 도메인 지식 소스: 미세 조정된 LLaMA-2-7B 모델 사용
3. 특수 쿼리 언어 처리
   • SPARQL과 같은 덜 일반적인 쿼리 언어의 경우
   • 단일 엔티티와 관계를 포함하는 훈련 데이터로 모델 미세 조정
   • 정확한 쿼리 생성을 위한 특별한 처리 과정 포함

답변 통합 단계

마지막 단계인 답변 통합에서는 이전 단계에서 수집된 모든 정보를 종합하여 최종 답변을 생성한다.

이때, CoK는 다양한 형태의 지식 소스(Wikidata, Wikipedia, 구조화된 테이블 데이터 등)을 사용하여 활용한다.

 

•  

5. 새로운 연구 방향

5.1 Graph Foundation Models (GFMs)

Mao, H., Chen, Z., Tang, W., Zhao, J., Ma, Y., Zhao, T., Shah, N., Galkin, M., Tang, J., 2024. Position: Graph Foundation Models are Already Here. https://doi.org/10.48550/arXiv.2402.02216

Position: Graph Foundation Models are Already Here

• 목표
  • CV나 NLP 분야의 거대 언어 모델과 유사한 방향
  • 방대한 그래프 데이터 학습
  • 다양한 작업과 도메인에 적용 가능한 모델 개발

 

5.2 시간적 지식그래프 연구

Lin, X., Xu, C., E, H., Su, F., Zhou, G., Hu, T., Li, N., Sun, M., Luo, H., 2023. TFLEX: Temporal Feature-Logic Embedding Framework for Complex Reasoning over Temporal Knowledge Graph. https://doi.org/10.48550/arXiv.2205.14307

• TFLEX 연구
  • 시간적 정보를 포함하는 지식그래프에서의 복잡한 논리적 추론
  • After, Before, Between과 같은 시간 연산자 포함
  • 복잡한 질의 처리를 위한 새로운 패러다임

 

6. 결론

LLM과 지식그래프의 결합은 단순한 통합을 넘어 각각의 장점을 상호보완적으로 활용하는 방향으로 발전하고 있다. LINC, KoPA, GLAR, RoG, ToG 등 다양한 연구를 통해 LLM의 추론 능력이 크게 향상되었으며, 특히 Neural-Symbolic 접근법은 더욱 신뢰성 있고 설명 가능한 인공지능 시스템의 실현 가능성을 보여준다. 최근에는 Graph Foundation Models(GFMs)나 TFLEX와 같이 새로운 패러다임을 제시하는 연구들도 등장하고 있다. 다만, 여전히 계산 자원의 최적화, 그래프 구조의 복잡성 관리, 지식그래프의 효율적 처리 등의 과제가 남아있다.