theinnovators개요
- RARE(Retrieval-Augmented Reasoning Modeling)은 대규모 언어 모델이 복잡한 도메인 특화 질문에 정확하고 일관되게 답변하도록 유도하는 새로운 학습 프레임워크입니다. 기존의 LLM이 겪는 지식 환각(hallucination)과 추론 능력 부족의 한계를 극복하기 위해, RARE는 검색 가능한 외부 지식과 내재된 추론 능력을 분리하여 학습하는 Retrieval-Augmented Reasoning 구조를 도입합니다.
핵심 기술 구성
1. 지식과 추론의 분리 학습
RARE는 지식을 “모델 파라미터 내부”가 아닌 “외부 문서 집합”에 저장하고, 모델은 그 지식을 검색하고 reasoning하는 법만을 집중 학습합니다.
- Knowledge = 외부에서 검색 (Retriever 사용)
- Reasoning = 모델 내부에서 학습 (LLM이 추론 구조 학습)
이 구조는 교육학의 블룸의 인지적 분류법(Bloom’s Taxonomy)에서 영감을 받아, “기억(Memorize)”과 “이해·적용(Understand, Apply)”을 분리한 형태입니다.
2. 학습 프롬프트 구성 방식 (RARE Prompting)
RARE는 단순한 질의응답 형식이 아닌, 다음과 같은 다단계 reasoning 프롬프트 구조를 도입합니다:
[질문]
↳ [질문에 대응되는 검색 문서들]
↳ [모범 추론 과정 (Reasoning Path)]
↳ [최종 답변]예시 구성:
Question: What is the treatment for Type 2 Diabetes?
Retrieved Evidence:
- "Metformin is the first-line treatment for type 2 diabetes..."
- "In addition to lifestyle changes, patients often take insulin..."
Reasoning Path:
- The patient has Type 2 Diabetes.
- According to the literature, Metformin is commonly used as first-line therapy.
- In some cases, insulin is added if Metformin alone is insufficient.
Answer: Metformin이러한 검색-근거-추론-답변의 구조를 학습시켜, 모델이 reasoning chain을 내재화하도록 유도합니다.
3. 모듈별 세부 기술
1) Retriever (검색기)
- RAG 스타일 검색기 적용
- 기존 문서 코퍼스에서 질문에 대응하는 관련 문서들을 가져옴
- FAISS, BM25, ColBERT 등의 dense 또는 sparse retrieval 방식 가능
2) Reasoner (추론기)
- Qwen-7B, LLaMA, GPT 계열 모델에 적용
- 입력: 질문 + 검색 문서
- 출력: reasoning path → final answer
학습 시에는 정확한 근거와 reasoning 과정이 포함된 정답 라벨을 제공하여, chain-of-thought를 학습합니다.
3) Instruction-tuning 방식 적용
- Supervised Fine-tuning을 기반으로, 도메인별 데이터셋을 정제하여 프롬프트와 reasoning path를 같이 학습
- “지식을 모델에 넣는 것이 아니라, 지식을 활용하는 방식”을 훈련
실험 결과
RARE는 다양한 도메인(의료, 과학, 법률 등)에서 높은 성능을 보였으며, 특히 경량 모델에서도 기존 SOTA를 초과하는 결과를 달성했습니다.
| 모델 | PubMedQA | CoVERT |
|---|---|---|
| GPT-4 + 검색 | 75.2% | 65.7% |
| RARE (Qwen-2.5-7B) | 78.6% | 74.1% |
→ GPT-4 + RAG보다도 뛰어난 성능으로, 추론 능력을 검색 기반으로 강화한 모델의 가능성을 증명함.
정리 및 기술적 의의
RARE는 단순히 RAG 구조에 reasoning을 붙인 것이 아니라, LLM이 검색된 지식을 해석하고 구조화된 사고를 할 수 있도록 훈련하는 프레임워크입니다. 특히 다음과 같은 기술적 의의가 있습니다:
- 지식 유지비용 감소: 지식을 외부화함으로써 파라미터 재학습 없이 정보 갱신 가능
- 도메인 확장 용이성: 추론 패턴만 학습하면 다른 분야에도 손쉽게 확장
- Reasoning Path 학습 가능성 확인: 단순 답변이 아닌, 추론 과정을 학습시키는 효과적인 방식을 제시
결론
RARE는 검색과 추론의 이상적인 조합을 통해, LLM이 보다 정확하고 신뢰할 수 있는 방식으로 도메인 질문을 해결할 수 있도록 돕는 차세대 프레임워크입니다. 이는 향후 지식 기반 AI 시스템의 구축 방식에 중요한 전환점을 제공할 수 있습니다.
이 설명을 기반으로 하여 블로그 글이나 기술 문서 형태로도 확장 가능합니다. 필요한 포맷이나 추가 설명이 있다면 말씀해주세요!
TI Tech Lab 박선홍 연구원
Source
- Wang, Zhengren, et al. “RARE: Retrieval-Augmented Reasoning Modeling.” arXiv preprint arXiv:2503.23513 (2025).
Add comment