티스토리 뷰
개요 (Overview)
"Prefix-Tuning"은 2021년에 스탠포드에서 발표된 논문으로, 사전 훈련된 언어 모델의 파라미터를 고정시키고 prefix를 도입하여 다양한 작업에 대한 효율적인 조정을 가능케 하는 방법을 소개합니다. Prefix-Tuning은 가벼운 fine-tuning 접근으로써, 적은 학습 데이터로도 성능 향상을 이끌어낼 수 있습니다.
요약 (Abstract)
- Prefix-Tuning은 사전 훈련된 언어 모델의 파라미터를 고정시키고, 새로운 벡터인 prefix를 도입하여 다양한 작업에 대한 튜닝을 수행합니다.
- "프로프팅"에서 영감을 받아, prefix만 잘 튜닝하면 모델의 답변이 향상될 수 있다는 아이디어를 제시합니다.
- Prefix-Tuning은 전체 파라미터를 학습시키는 것보다 훨씬 효율적으로 작동하며, 전체 학습 대비 0.1%만 학습해도 좋은 결과를 얻을 수 있었습니다.
소개 (Introduction)
- 경량화된 세부 조정(lightweight fine-tuning)으로 접근하여, 어댑터 조정이 2-4% 성능 향상을 가져오는 반면, Prefix-Tuning은 0.1%만 학습해도 효과적입니다.
- 테이블 형태의 데이터를 텍스트로 설명하는 서브 태스크와 요약문 생성 태스크에 대한 Prefix-Tuning을 테스트한 그림
- Prefix는 모델에 컨텍스트를 제공하여 어떻게 학습해야 하는지를 알려주는 역할을 합니다.
메소드 (Method)
- Prefix-Tuning은 prefix를 학습 가능한 파라미터인 세타로 두고, 오직 prefix만을 최적화 대상으로 삼습니다.
- 세타를 임베딩하는 과정에서 개선을 위해 멀티 퍼셉트론을 사용하며, 이를 통해 세타를 생성합니다.
- Prefix-Tuning의 최적화 대상은 오직 prefix에만 집중되어 있습니다.
주요 결과 (Main Results)
- 0.1%만 학습해도 Prefix-Tuning은 효과적으로 작동하며, prefix의 길이가 일정 범위 내에서 적절하게 설정되었을 때 성능이 가장 좋았습니다.
- 특히, 요약문 생성 태스크에서는 prefix 길이가 약 200일 때 성능이 향상되었으며, 테이블에서 텍스트로의 변환 태스크에서는 prefix 길이가 약 10일 때 가장 좋은 결과를 보였습니다.
결론 (Conclusion)
Prefix-Tuning은 적은 학습 데이터로도 언어 모델의 성능을 향상시킬 수 있는 효과적인 방법을 제시합니다. 그러나 prefix가 너무 길어질 경우 모델이 처리할 수 있는 최대 토큰 수를 초과하여 제한이 생길 수 있다. Prefix-Tuning은 경량화된 fine-tuning 방법으로, 효율적인 성능 향상을 제공하는 실용적인 방법 중 하나로 주목받고 있다.
'논문' 카테고리의 다른 글
생성 AI와 소프트웨어 개발과 법제도적 동향 (2) | 2025.01.02 |
---|---|
[Knowledge Graph] Unifying Large Language Models and Knowledge Graphs: A Roadmap (0) | 2024.05.20 |
[논문리뷰] GPT-1 Improving Language Understanding by Generative Pre-Training (1) | 2024.02.01 |
[논문리뷰] P-tuning-GPT Understands, Too(Version2) (1) | 2024.01.24 |
[논문리뷰] LoRA (Low-Rank Adaptation of Large Language Models) (0) | 2024.01.22 |
- Total
- Today
- Yesterday
- knowledgegraph
- 키워드추출
- p-tuing
- pandas
- PEFT
- PostgreSQL
- python
- MongoDB
- Encoding
- TextRank
- vervel
- cursorai
- LLM
- writerow
- hadoop
- SPARQL
- rdflib
- 지식그래프임베딩
- 지식그래프
- python'
- Claude
- knowlegegraph
- ChatGPT
- polars
- Vue3
- Postgis
- 3d-force-graph
- difflib
- psycopg
- vscode
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |