LLM 에이전트를 위한 메모리 : A-MEM

1. 연구 배경 및 문제 정의

기존의 LLM 기반 에이전트는 메모리를 통해 장기적인 정보 저장 및 참조가 가능하지만, 그 구조는 대부분 정적이며, 단순한 검색 기반 접근법에 의존합니다. 이러한 구조는 새로운 지식을 유연하게 통합하거나 문맥 변화에 적응하는 데 한계가 있으며, 특히 연속적이고 진화하는 상호작용 환경에서는 성능 저하를 야기합니다.

이에 따라, 본 논문은 LLM 에이전트의 장기 기억 체계를 보다 유기적이며 동적으로 구성하고, 복잡한 추론 및 문제 해결 상황에서의 정보 처리 능력을 향상시키기 위한 방법론으로 A-MEM(Agentic Memory)를 제안합니다.

2. 내용

A-MEM은 인간의 사고 체계를 모방한 메모리 네트워크로, Zettelkasten 방식의 연결형 노트 기반 지식 구조화를 LLM 에이전트 환경에 통합한 시스템입니다. 전체 구성은 모듈화된 다중 에이전트 구조로 구현되며, 각 컴포넌트는 다음과 같이 정밀하게 동작합니다:

2.1 노트 기반 메모리 구조 (Note-centric Memory)

• 메모리는 자연어 기반의 단위 노트로 저장됩니다. 각 노트는 다음과 같은 속성을 갖습니다:
  • content: 메모리 내용의 요약
  • tags: 주제 기반 태그 (예: “data structure”, “sorting”)
  • context: 생성 시점의 문맥 설명
  • why_created: 해당 노트가 생긴 이유를 메타적으로 기술
  • links: 관련된 다른 노트들과의 연결 링크
• 각 노트는 독립적이지만, 연결을 통해 네트워크 상에서 맥락적으로 결합됩니다.

2.2 메모리 삽입 및 연결 알고리즘 (Insertion & Linking)

• 새로운 정보를 메모리에 저장할 때, 다음 단계를 거칩니다:
  1. Embedding 생성: 삽입될 노트의 내용을 임베딩 벡터로 변환
  2. 관련성 탐색: 기존 노트들과 cosine similarity 기반 유사도 비교
  3. 링크 생성: 임계치 이상의 유사도를 보이는 노트들과 상호 연결
  4. 역링크 등록: 기존 노트에도 새로운 노트를 링크로 추가 (양방향 링크)
• 이는 static chunk-based memory와는 달리, context-aware하게 지식 간 의미적 네트워크를 형성합니다.

2.3 다중 에이전트 협업 구조 (Modular Agent Collaboration)

• A-MEM은 단일 LLM이 아닌, 역할 기반으로 분리된 LLM 에이전트들이 협업합니다:
  • Reader Agent: 입력을 분석하여 요약된 노트 후보를 생성
  • Writer Agent: 노트를 정제하고 저장 포맷에 맞춰 구조화함
  • Link Agent: semantic similarity 기반 연결 수행 및 링크 정제
  • Summarizer Agent: 노트들 간 중복 제거 및 상위 개념 요약 수행
• 에이전트들은 프롬프트 기반 상호작용을 통해 작업을 배분받고, 각자 역할에 특화된 출력을 생성합니다.

2.4 메모리 진화 및 재구성 (Memory Evolution)

• 메모리는 삽입 시점에서 고정되는 것이 아니라, 다음과 같은 방식으로 진화합니다:
  • 재요약(Summarization): 새로운 관련 노트가 삽입되면 기존 노트의 내용을 업데이트하거나 병합
  • 링크 리어레인지: 시간 흐름에 따라 semantic 관계가 약해진 노트 간 링크는 제거되거나 재정렬
  • 메타데이터 보강: 노트 사용 빈도, 호출 이력 등을 추적하여 중요도를 재조정

2.5 네트워크 형태의 지식 구조화 (Zettelkasten-inspired Graph)

• 모든 노트는 Directed Graph 형태로 연결되어, knowledge graph로 구성됨
• DFS 기반 탐색을 통해 연관된 과거 경험을 호출하거나, 새로운 과제를 위한 관련 지식을 추론함
• 이러한 구조는 고차원 reasoning task (예: 연역적 추론, 유추적 학습)에 유리함

3. 결론

A-MEM은 기존의 단순 검색 기반 메모리 시스템의 한계를 극복하기 위한 대안으로, 구조화된 동적 메모리 시스템을 제안합니다. 다음과 같은 기술적 의의를 가집니다:

• 인지적 메모리 구조 모방: Zettelkasten 철학을 바탕으로, 인간의 사유와 유사한 비선형적 지식 축적 방식을 구현
• 다중 에이전트 시스템 통합: 각기 다른 역할을 수행하는 LLM 에이전트들의 협업을 통해 메모리 관리의 효율성과 품질을 동시 확보
• 장기 기억 최적화: 자기조직화와 지속적 진화를 통해, 장기적 정보 저장 및 재활용에 최적화된 시스템 구현

본 논문은 LLM 에이전트가 복잡하고 변화무쌍한 환경에서 지속적으로 학습하고 추론할 수 있는 기반 인프라로서, 동적 에이전트 메모리 시스템의 실질적인 가능성을 입증하였습니다.

TI Tech Lab 박선홍 연구원

Source

• A-MEM: Agentic Memory for LLM Agents