theinnovators개요
LightPROF는 대형 언어 모델(LLM)이 지식 그래프(Knowledge Graph, KG) 위에서 더 효과적으로 추론할 수 있도록 지원하는 경량화된 프레임워크입니다. 복잡한 파이프라인 없이도 LLM의 강력한 언어 능력을 활용하여 KG 기반의 추론 작업을 수행하도록 설계되었습니다.
연구 동기
기존의 KG 기반 추론 기법은 복잡한 모델 아키텍처와 사전 학습된 임베딩에 의존하며, LLM을 직접 활용하기에는 비효율적인 경우가 많았습니다. LightPROF는 이러한 한계를 극복하고 효율적이며 범용적으로 사용할 수 있는 KG 추론 방법을 제시합니다.
핵심 기여 및 구체 기술
- 경량화 설계 (Lightweight Design):
- LightPROF는 별도의 파인튜닝이나 지식 임베딩 훈련 없이, 사전학습된 LLM을 그대로 사용하여 KG 추론을 수행합니다.
- 모델 파라미터를 업데이트하지 않고, 입력 형식(프롬프트)만 조정하여 inference 수행이 가능함
- 프롬프트 기반 추론 (Prompt-based Reasoning):
- 지식 그래프의 삼중항(triple) 예: (Paris, capitalOf, France)을 자연어 문장 “Paris is the capital of France.” 형태로 변환
- 링크 예측의 경우, 예: “What is the capital of France?” 형태의 질문을 생성하여 정답을 추론
- 프롬프트에 예시(few-shot examples)를 포함하여 모델의 응답 정확도를 높임
- Knowledge Graph Encoding:
- Triple 단위의 구조를 자연어 시퀀스로 변환하는 간단한 템플릿 기반의 변환 방식을 사용
- 다양한 템플릿을 사용하여 동일 triple에 대한 표현 다양화 가능
- Task-specific Prompting:
- 링크 예측: head 또는 tail을 마스킹하고 질문 형태로 구성하여 답변 유도
- Triple Classification: 주어진 triple이 타당한지 여부를 묻는 방식 (“Is it true that Paris is the capital of France?”)
- Multi-hop Reasoning: 중간 엔티티를 거쳐 도달하는 복합 질문 구성 (예: “Who is the grandfather of [person]?”)
성능 평가
- 사용된 데이터셋: FB15k-237, WN18RR, NELL995 등 대표적인 공개 KG 벤치마크
- 비교 대상: KG-BERT, CoKE, StAR, 그리고 기타 embedding 기반 모델들
- 평가 지표: MRR (Mean Reciprocal Rank), Hits@1, Hits@10 등
- GPT-4 및 GPT-3.5 기반 LightPROF 모델은 zero-shot 설정에서도 기존 embedding 기반 방법과 비슷하거나 우수한 성능을 보임
- 특히 multi-hop 추론에서 LLM의 장점을 활용하여 높은 정답률을 달성
결론 및 전망
LightPROF는 복잡한 학습 과정 없이도 강력한 추론 성능을 제공하며,
- 지식 그래프의 복잡한 구조를 LLM이 이해할 수 있도록 자연어로 변환하는 기술이 핵심
- 다양한 KG 태스크에 쉽게 적용 가능하며, 도메인 특화 프롬프트 설계만으로 확장성 확보 가능
향후, 다양한 분야의 KG에 적용될 수 있으며, LLM과 지식 기반 시스템을 연결하는 중요한 연결 고리로 작용할 수 있습니다.
TI Tech Lab 박선홍 연구원
Source
- Ao, Tu, et al. “LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph.” arXiv preprint arXiv:2504.03137 (2025).
Add comment