AgenticSTS라는 프로젝트의 연구진은 일반적으로 점점 더 커지는 채팅 기록을 구조화된 메모리 시스템으로 대체함으로써 카드 게임 Slay the Spire 2에서 장기적인 AI 에이전트 성능을 개선했다고 말한다. The Decoder가 보도한 테스트에서, 전술 기술 계층이 활성화되었을 때 에이전트는 게임의 가장 낮은 난이도에서 10번 중 6번 승리했으며, 전통적인 전사본 중심 프롬프팅을 사용하는 두 개의 공개 비교 에이전트는 각각의 실행에서 승리하지 못했다고 전해졌다.

이 결과가 게임 벤치마크를 넘어 의미가 있는 이유는 AI 에이전트의 실용적 병목을 겨냥하기 때문이다. 긴 작업은 거대한 프롬프트를 누적시키는 경향이 있어 비용, 지연 시간, 오류율이 높아진다. AgenticSTS의 핵심 주장은 에이전트가 수백 단계에 걸쳐 일관되게 행동하기 위해 대화 전체를 매번 다시 재생할 필요가 없다는 것이다. 대신 특정 종류의 정보만 저장하는 콤팩트한 메모리 슬롯 집합에서 각 프롬프트를 다시 구성할 수 있다.

The Decoder의 논문 보도에 따르면 이 연구는 Alaya Lab, 상하이 교통대학교, 그리고 다른 기관들에서 나왔다. 연구진이 Slay the Spire 2를 테스트 사례로 선택한 이유는 한 번의 실행에 많은 순차적 선택이 포함되고, 규칙을 텍스트로 표현할 수 있으며, 무작위성이 취약한 전략을 드러내기 쉽기 때문이다. AI 개발자들에게 이 연구는 게임을 이기는 것보다 메모리 아키텍처가 무차별적인 컨텍스트 확장을 대체할 수 있는지를 묻는 일에 가깝다.

Slay the Spire 2가 유용한 스트레스 테스트인 이유

Slay the Spire 2는 에이전트 설계에 특히 가혹하다. 한 번의 실행에는 경로 계획, 덱 구성, 전투 전술, 상점 구매, 이벤트 결정이 수백 단계에 걸쳐 포함될 수 있다. 따라서 단발성 벤치마크보다 지속성과 계획 능력을 테스트하는 데 더 적합하다. The Decoder는 게임 개발자에 따르면 인간 플레이어의 승률은 가장 낮은 난이도 A0에서 약 16퍼센트이며, AGI-Eval 평가의 최전선 모델 에이전트들은 테스트된 다섯 가지 설정에서 한 번도 승리하지 못했다고 보도한다.

이 배경은 중요하다. 연구진이 새로운 모델이 갑자기 게임을 해결했다고 주장하는 것이 아니기 때문이다. 그들의 주장은 더 좁고 실행 가능하다. 같은 종류의 대형 언어 모델이라도 그 이력을 어떻게 표현하고 검색하느냐에 따라 다르게 동작할 수 있다는 것이다.

ReAct와 Reflexion 같은 전통적인 에이전트 설계는 종종 관찰, 도구 출력, 자기 성찰을 다음 프롬프트에 덧붙인다. 이 패턴은 만들기 쉽지만, 턴마다 커지는 프롬프트를 만든다. 실행이 길어질수록 에이전트는 컨텍스트 한도에 도달하거나 오래된 정보에 주의를 분산시킬 위험이 있다. 많은 실무자들이 이제 이를 컨텍스트 부패라고 부르는 실패 모드와 같다.

AgenticSTS가 메모리를 재구성하는 방식

AgenticSTS는 모델에 원시 실행 전사를 그대로 넣는 방식을 피한다고 전해진다. 대신 각 의사결정 프롬프트는 다섯 개의 메모리 계층으로 구성된다. The Decoder는 이를 고정된 지시 계층, 현재 상태 계층, 검색된 게임 규칙 계층, 이전 실행 요약 계층, 그리고 반복되는 상황에서 재사용 가능한 전술 규칙을 저장하는 전략 기술 계층으로 설명한다.

이 분리가 핵심 설계 기여다. 이전 단계의 정보가 중요하다면 먼저 이 메모리 저장소 중 하나에 기록되어야 한다. 실제로는 모델이 자신이 한 모든 일의 거대한 로그가 아니라 더 짧고 선별된 프롬프트를 보게 된다는 뜻이다. 보고에 따르면 프롬프트 길이는 실행 후반에도 약 5,000토큰 수준을 유지하지만, 전체 이력을 다시 보내는 기준 에이전트는 수십만 토큰까지 커진다.

이 방식은 연구진이 실제로 무엇이 도움이 되는지 더 명확하게 살펴볼 수 있게 한다. ‘메모리’를 하나의 모호한 덩어리로 취급하는 대신, 계층별로 켜고 끌 수 있기 때문이다. The Decoder가 설명한 주요 비교에서 메모리 계층이 없는 에이전트는 10번 중 3번 승리했다. L5 전술 기술 라이브러리를 추가하자 10번 중 6번으로 늘었다. 기사에 따르면 이는 수작업으로 작성한 기술이든 템플릿에서 생성한 기술이든 동일했다.

이는 주목할 만한 결과지만, 연구진 스스로도 이를 과장하지 않으려 신중했던 것으로 보인다. 조건당 실행 횟수가 10번뿐이어서, 개선의 일부는 노이즈일 수 있다고 인정했다고 전해진다.

가장 큰 성과는 승리만이 아니라 비용과 지연 시간일 수 있다

더 깔끔한 성능 이야기는 순수한 벤치마크 결과보다 운영 측면일 수 있다. The Decoder는 증가하는 전사본 방식을 쓰는 공개 비교 에이전트 STS2MCP와 CharTyr가 보고된 설정에서 각각 5번의 실행 중 한 번도 승리하지 못했다고 보도한다. 더 놀라운 점은 AgenticSTS보다 점수 1점당 66~90배 더 많은 토큰을 소비했다고 전해진다는 것이다.

인용된 한 예시는 그 이유를 보여준다. STS2MCP에서는 게임 후반 모델 호출이 전체 게임 이력을 다시 전송했기 때문에 약 527,000토큰에 이르렀다고 한다. 반면 AgenticSTS는 활성 사용자 텍스트를 약 5,000토큰으로 유지했다. 기사에 따르면 전사본이 많은 에이전트들은 같은 수준에 도달하는 데 약 4배 더 오래 걸렸으며, 제공업체 통계는 이 지연의 96퍼센트가 오케스트레이션 오버헤드가 아니라 모델 지연 시간 때문이라고 귀속했다.

기업 환경에서 AI 에이전트를 구축하는 팀에게는 이것이 더 전이 가능한 교훈일 수 있다. 코드 어시스턴트, 고객 지원, 리서치, 업무 자동화 같은 사용 사례에서는 이미 컨텍스트가 팽창하는 문제를 겪고 있다. 구조화된 메모리가 충분한 연속성을 유지하면서도 프롬프트 크기를 크게 줄일 수 있다면, 추론 비용 절감, 더 나은 반응성, 그리고 시끄러운 이력으로 인한 추론 실패 감소라는 이점이 있다.

무엇이 증거를 뒷받침하고, 무엇이 아닌가

이 기사에서 제시된 증거는 회사 발표나 독립적인 벤치마크 감사가 아니라 기반 연구에 대한 언론 보도에서 나온 것이므로 주의가 필요하다. The Decoder에 따르면 핵심 지표는 총 50회의 실행에 기반하며, 플레이 가능한 캐릭터는 Silent 한 명만, 게임 버전도 한 가지 만 테스트됐다. 따라서 이 접근이 패치, 캐릭터, 또는 다른 장기 환경에 얼마나 잘 일반화되는지는 열려 있다.

기사에서는 또한 같은 코드베이스 내에서 전사본 누적과의 깔끔한 apples-to-apples 방식의 아블레이션도 아니었다고 말한다. STS2MCP와 CharTyr는 라우팅과 의사결정 배치뿐 아니라 메모리 처리 방식에서도 AgenticSTS와 다르다. 따라서 비교는 현재 공개 에이전트 지형의 스냅샷으로는 유용하지만, 격차의 유일한 이유를 구조화된 메모리로만 분리해내지는 못한다.

모델 간 전이 결과도 메모리 자체가 일부 개발자들이 바라는 것만큼 재사용 가능하지 않을 수 있음을 시사한다. 연구진은 Gemini 3.1 Pro가 축적한 메모리 스택을 고정한 뒤 이를 Qwen 3.6-27B와 Deepseek V4-Pro에 넘겼다고 전해진다. Qwen 3.6-27B의 평균 점수는 84.5퍼센트 상승한 반면 Deepseek V4-Pro의 점수는 18.1퍼센트 하락했다. 두 모델 모두 게임에서 승리하지 못했다. 이 결과가 유지된다면 메모리 형식은 이를 생성하고 소비하는 모델에 맞게 조정되어야 할 수 있다.

그럼에도 이 프로젝트는 재현 가능성 측면에서 유용한 기여를 하는 것으로 보인다. The Decoder는 팀이 Hugging Face에 298개의 전체 게임 실행 기록, 고정된 메모리 스냅샷, 평가 스크립트를 공개한다고 전한다. 이는 외부 그룹이 환경을 처음부터 다시 만들지 않고도 대안적 메모리 설계를 시험하기 쉽게 해줄 것이다.

이것이 AI 에이전트와 기업 AI에 중요한 이유

핵심 시사점은 더 나은 AI 에이전트가 점점 더 큰 컨텍스트 윈도우보다는 명시적 메모리 관리에서 나올 수 있다는 것이다. 이는 엔지니어링 문제를 바꾼다. 모델에 더 많은 토큰을 밀어 넣는 방법을 묻기보다, 어떤 정보가 장기 저장에 적합한지, 어떻게 요약해야 하는지, 언제 검색해야 하는지, 그리고 어떤 결정이 새 상태를 필요로 하고 어떤 결정이 지속 가능한 기술을 필요로 하는지를 묻게 된다.

이는 시장 전반의 흐름과도 맞닿아 있다. The Decoder는 Anthropic의 Memory Tool과 Context Editing 작업을 언급하는데, 이는 실시간 컨텍스트에서 오래된 도구 결과를 제거하고 지속적인 정보를 외부 저장소로 옮기려는 것이다. 또한 GAM과 Mastra도 원시 프롬프트 밖에서 메모리를 관리하려는 다른 시도로 언급된다. 이러한 프로젝트들은 구현은 다르지만, 공통된 전제를 공유한다. 컨텍스트가 통제 없이 커지도록 두는 것은 장시간 실행되는 AI 에이전트에 대체로 잘못된 기본값이라는 점이다.

기업 AI 구매자에게는 구매 질문이 모델 품질을 넘어야 한다는 뜻이다. 에이전트 플랫폼을 평가하는 팀은 메모리 압축, 검색, 스키마 설계, 감사 가능성을 어떻게 처리하는지 물어야 한다. 거대한 프롬프트 위에 세운 화려한 데모는 워크플로가 수백 개의 작업으로 늘어나거나 추론 예산이 빡빡해질 때 실패할 수 있다.

연구자에게 Slay the Spire 2는 장난감 과제와 지저분한 현실 배포 사이의 유용한 중간 벤치마크다. 통제된 연구에는 충분히 구조화되어 있으면서도, 계획과 메모리의 실패를 드러내기에는 충분히 길다. AgenticSTS의 접근이 더 많은 환경에서 재현된다면, 코딩 어시스턴트 시스템, 브라우저 에이전트, 비즈니스 프로세스 자동화 도구의 아키텍처에 영향을 줄 수 있다.

다음에 주목할 점

다음 신호는 독립적인 재현이다. 외부 연구진이 Hugging Face 산출물을 사용해 승률, 토큰 절감, 지연 시간 개선을 재현할 수 있다면 메모리 아키텍처 주장의 신뢰도는 높아질 것이다.

두 번째 신호는 더 엄격한 아블레이션이다. 가장 유익한 후속 연구는 같은 코드베이스에서, 같은 모델, 같은 라우팅, 같은 점수 체계로 AgenticSTS와 전사본 누적 기준선을 비교하는 것이다.

세 번째는 더 넓은 일반화다. 더 많은 Slay the Spire 2 캐릭터, 이후 패치, 혹은 다른 장기 과제에서의 결과는 이 설계가 견고한지, 아니면 벤치마크 특화인지 더 잘 보여줄 것이다.

마지막으로 제품화도 지켜볼 필요가 있다. 프레임워크 제공업체나 모델 회사들이 비슷한 구조화 메모리 패턴을 채택한다면, 현재 연구에서 시험 중인 개념이 상용 AI 에이전트, 기업 AI 스택, 개발자 도구로 빠르게 흘러들 수 있다.

Creati.ai 관점

이 이야기에서 가장 중요한 점은 에이전트가 몇 번의 게임 실행을 이겼다는 사실이 아니다. 연구진이 메모리를 채팅의 부산물이 아니라 1급 시스템 설계 문제로 다루고 있다는 점이다. 바로 그 지점에서 많은 배포된 AI 에이전트가 여전히 무너진다. 지속성과 재생을 혼동하기 때문에 새 단계마다 너무 많은 불필요한 과거를 끌고 다니게 된다.

AgenticSTS 결과가 유지된다면, 이는 많은 개발자들이 이미 짐작하던 관점을 강화한다. 원시 컨텍스트 길이는 구조화된 상태의 비싼 대체물이라는 것이다. 실제로 다음 세대의 신뢰할 수 있는 AI 에이전트는 더 큰 모델만이 아니라, 훈련된 메모리 계층, 검색 정책, 그리고 컨텍스트 부패가 시작되기 전에 이를 막는 도구에 더 크게 의존하게 될 수 있다.