Vector Search and Embeddings (3)

Vector Search and RAG

 

벡터 검색(Vector Search)과 검색 증강 생성(Retrieval Augmented Generation, RAG)

LLM의 문제점 중 하나는 사실이 아닌 답변을 생성하는 환각(Hallucination)문제이다. 예를 들어, 본 영상에서는 존재하지 않는 과일인 '노란색 라즈베리'를 예시로 들고 있다. 이처럼 LLM은 학습 데이터를 기반으로 답변을 생성하기 때문에 특정 도메인의 전문 지식이나 실시간 정보에 대한 접근성이 떨어진다. 

 

기존의 해결 방법은 아래와 같다.

• 미세 조정(Fine-tuning): 많은 데이터와 컴퓨팅 자원을 필요로 하는 비용이 많이 드는 방식
• 사람이 직접 검토(Human review): 시간과 비용이 많이 소요되며, 모든 환각을 잡아낼 수 없는 한계가 있음
• 프롬프트 엔지니어링(Prompt engineering): 환각을 줄이는 데 도움이 될 수 있지만, LLM의 기존 지식 범위 내에서만 효과가 가 있음

보다 효율적인 방식을 위해 본 영상에서는 벡터 검색을 소개한다. 벡터 검색으로 LLM에게 관련 정보를 제공하여 정확도를 높이는 방식이다. 또한, RAG와 밀접한 연관이 있다.

RAG(Retrieval Augmented Generation)

외부 지식을 사용하여 LLM의 답변 품질을 향상시키는 아키텍처를 RAG(Retrieval Augmented Generation) 라고 한다.

1. 사용자의 질문(프롬프트)을 받습니다.
2. 외부 정보에서 질문과 관련된 문서를 찾습니다.
3. 검색된 상위 결과를 원래 프롬프트에 추가합니다.
4. 맥락 정보가 풍부해진 프롬프트를 LLM에 전달합니다.

LLM은 위와 같은 과정을 통해 실시간 정보를 검색하고 활용할 수 있다.

RAG 활용 사례: Google 연구 논문 챗봇

실제로 RAG를 활용하여 정교한 챗봇을 만들 수 있다. 예를 들어, 사용자가 Google 연구 논문에 대해 질문하는 챗봇을 사용한다고 가정한다. 이 때, RAG 모델을 사용하면 LLM이 벡터 검색을 통해 관련 논문을 찾고 그 내용을 바탕으로 질문에 대한 요약 답변을 생성할 수 있다. RAG 모델은 LLM에게 모든 내용을 암기하도록 학습시킬 필요가 없어 환각을 줄일 수 있다.

• 사용자의 질문
• LLM에 대한 지침 (예: "검색 결과만 사용하고, 지어낸 답변을 하지 마세요.")
• 벡터 검색을 통해 검색된 논문들

이러한 RAG 시스템을 통해 챗봇은 벡터 검색으로 얻은 지식을 바탕으로 사용자의 질문에 효과적으로 답변할 수 있다.

Vertex AI 활용 예시

다시 한번 정리하자면, 검색 증강 생성(RAG)은 프롬프트에 추가적인 지원 정보를 주입하는 프로세스이며, 벡터 검색은 실시간으로 관련 정보를 빠르게 검색하여 RAG를 효과적으로 지원한다.

 

위 코스는  텍스트 임베딩과 벡터 검색을 활용하여 간단한 검색 엔진을 구축하는 실습을 진행할 수 있다.

약 8백만 개의 Stack Overflow 질문에 대해 텍스트 검색을 수행하여 "SQL에서 행을 섞는 방법은 무엇인가요?"와 같은 코딩 질문에 대한 답변을 찾아볼 수 있다.

 

 

동영상 강의를 모두 시청하면, Cloud환경에서 실습할 수 있는 환경을 제공한다.

jupyter lab을 통해 파이썬 코드를 제공하며, 텍스트 임베딩 -> 인덱스 생성 -> 벡터 검색까지의 모든 샘플 코드를 제공한다.

 

 

 

• How to use Grounding for your LLMs with text embeddings

https://cloud.google.com/blog/products/ai-machine-learning/how-to-use-grounding-for-your-llms-with-text-embeddings

How to use Grounding for your LLMs with text embeddings | Google Cloud Blog

구글에서 소개하는 vertex ai와 ScaNN 알고리즘을 기반으로 임베딩에 대해 소개하는 아티클이다.