theinnovatorsRAG란?
RAG는 외부 정보 검색 시스템과 LLM을 결합하여, 모델의 사전 지식 한계를 극복하는 AI 아키텍처입니다.
“질문에 대한 정확한 답을 모델이 직접 생성하기보다, 먼저 관련 문서를 찾고 그 내용을 바탕으로 응답을 생성한다.”
이 방식은 단순한 자연어 생성(NLG)이 아니라, **검색(Retrieval) + 생성(Generation)**의 하이브리드 형태입니다.
RAG 시스템 구조
- User Query Input (사용자 질문 입력) 사용자의 질문 또는 명령어는 시스템의 시작점입니다. 이 쿼리는 단순한 키워드가 아닌 자연어 문장 형태입니다.
- Vectorizer / Embedder (벡터화 모듈) 사용자 질문은 벡터 임베딩으로 변환됩니다. 이 과정에서 T**ransformer 기반 임베딩 모델 (예: OpenAI Embedding API, Sentence-BERT 등)**이 사용됩니다.
- Vector Search Engine (벡터 검색 엔진) 임베딩된 질문은 사전 구축된 문서 임베딩 인덱스와 비교되어 의미 기반으로 관련 문서가 검색됩니다.
- 대표 엔진: FAISS, Weaviate, Pinecone, Vespa 등
- Retriever Output (문서 검색 결과 반환) 검색 결과는 순위 기반으로 3~10개의 문서가 반환되며, 이는 다음 단계에서 LLM에 함께 전달됩니다.
- Contextual Prompt Builder (프롬프트 확장) 반환된 문서 내용은 LLM에게 **프롬프트 맥락(context)**으로 주입됩니다. 이때 단순한 문서 연결이 아닌, 요약·필터링·분류를 거쳐 **최적의 입력 길이(context window)**에 맞게 구성됩니다.
- LLM (Large Language Model) 사용자의 질문 + 검색된 문서 컨텍스트를 기반으로, 최종 응답을 생성합니다.
- 생성 모델: GPT-4, Claude, Cohere Command R, Gemini 등
- Output Response + Optional Source Highlighting 생성된 답변과 함께, 사용된 문서의 출처 표기 또는 하이라이트를 제공하여 신뢰성과 투명성을 강화할 수 있습니다.
구조적 특징 요약
| 구성 요소 | 기능 | 기술 예시 |
|---|---|---|
| Vectorizer | 질문/문서 벡터화 | OpenAI Embedding, SBERT |
| Vector DB | 의미 기반 검색 | FAISS, Pinecone, Weaviate |
| Prompt Builder | 컨텍스트 최적화 | 요약, Chunking, Ranking |
| LLM | 응답 생성 | GPT, Claude, Gemini |
| Response Layer | 응답 + 출처 표시 | 하이라이트, 링크 첨부 |
고급 구성 예시
- Multi-hop Retrieval: 질문에 따라 두 단계 이상의 검색 흐름이 필요한 경우, 단계별 컨텍스트 라우팅 기술을 함께 사용합니다.
- Query Rewriting / Expansion: 질문의 의미를 명확히 하기 위해, 검색 전 쿼리를 재작성하거나 시맨틱 보정을 수행합니다.
- Hybrid Retrieval: 키워드 기반 검색과 벡터 검색을 혼합하여 정확도와 리콜율 향상합니다.
최근 주목받는 RAG 기반 Tools 사례
- Perplexity.ai
- 지식 검색형 LLM 툴의 대표주자
- GPT-4 기반 + 실시간 웹 검색 연동으로 강력한 RAG 아키텍처 구현
- 2025년 들어 B2B 솔루션 (Perplexity Enterprise Pro) 론칭 → 기업형 검색 어시스턴트 시장 공략
- UX가 검색 엔진과 Q&A 어시스턴트의 중간 형태로 일반 사용자+전문가 모두 확보
- 특징
- 챗봇이 아니라 진짜 검색 대안으로 평가받음
- 출처 링크 중심 투명성 UX가 Hallucination 대응 모범 사례
- Glean
- 기업 내부 문서 검색 특화 AI 플랫폼
- Notion, Slack, Gmail, Jira, Salesforce 등 다양한 기업 SaaS와 통합
- 2025년에는 **“AI Answering Layer for Enterprise Stack”**로 재포지셔닝 → 진짜 기업용 Copilot 인프라
- 특징
- Microsoft Copilot 대비 SaaS 친화적·경량화된 RAG 시스템
- 검색+LLM 통합 UX 고도화와 데이터 보안/접근 제어 UX 설계로 기업에서 빠르게 확산
- Microsoft 365 Copilot (with RAG Layer)
- 2025년 기준 전세계적으로 가장 많이 도입된 LLM+RAG 시스템
- 내부 문서, 메일, 스프레드시트 등 모든 업무 흐름에 RAG 컨텍스트 결합
- 특히 SharePoint, Teams, OneDrive 연동이 매끄러워 엔터프라이즈 UX 표준이 되는 중
- 특징
- 에이전트+RAG+자동화 통합의 실전 사례
- LLM 쓰려면 결국 RAG 레이어는 필수 → Copilot이 이를 대표함
- Slack GPT + Salesforce Einstein Copilot
- 2025년 들어 Salesforce가 Einstein Copilot을 Slack과 통합 → 세일즈, 마케팅, 고객관리에서 RAG 활용 급증
- Slack 대화 속 컨텍스트 기반 자동 요약, 작업 자동화, 문서 검색
- CRM 데이터 기반 응답 생성도 모두 RAG 아키텍처 구조
- 특징
- 업무 메시지 기반 RAG 적용 확대
- 생산성 자동화와 AI 문맥 연결이 동시에 이루어짐
- Haystack / LlamaIndex (RAG Frameworks)
- RAG를 직접 구축하고자 하는 팀/기업/개발자 사이에서 인기 폭발
- 특히 Haystack은 2025년 들어 “RAG-as-a-Service” 클라우드 버전 출시로 SaaS 시장 진입
- LlamaIndex도 SAP, Oracle 등과 연동되는 커넥터 확대
- 특징
- 직접 구축형 AI 시스템 → 점점 더 많은 기업이 내부 도입 중
- LLM+RAG 시스템을 빠르게 MVP 형태로 만들기 좋은 툴킷
마무리하며
단순한 AI 챗봇에서 벗어나, 지식 기반의 Copilot·에이전트 시대로 넘어가는 전환점에 있습니다. 이 흐름 속에서 RAG는 더 이상 옵션이 아닌 AI 서비스의 필수 기반 기술입니다.
TI Tech Lab 신유림연구원
Add comment