OpenAI는 GPT-Red라는 새로운 내부 안전 시스템을 공개하며, 모델 배포에서 가장 어려운 작업 중 하나인 “사용자보다 먼저 실패를 찾아내는 일”을 자동화하는 방법으로 제시했다. OpenAI가 게시한 글에 따르면 GPT-Red는 취약점, 특히 프롬프트 인젝션 약점을 발견하도록 훈련된 자동화 레드팀 모델이며, 이후 더 새로운 모델을 학습 과정에서 강화하는 데 사용된다.

이번 발표가 중요한 이유는 프롬프트 인젝션이 여전히 실제 업무 환경에서 AI 에이전트와 도구 사용형 모델을 배포할 때 가장 뚜렷한 장애물 중 하나이기 때문이다. 모델이 브라우저, 앱, 파일, 외부 도구와 연결될수록 더 유용해지지만, 이메일, 웹페이지, 코드 저장소, 소프트웨어 출력에 숨겨진 적대적 지시에도 더 많이 노출된다. OpenAI의 주장은 인간만으로 하는 레드팀은 이런 위험을 따라잡을 수 없으며, 이제 안전성 작업 자체에도 자동화가 필요하다는 것이다.

OpenAI에 따르면 GPT-Red는 이미 GPT-5.6 학습에 통합되었고, 그 결과 회사가 지금까지 프롬프트 인젝션에 가장 강하다고 부르는 모델이 되었다. 이러한 성능 주장은 OpenAI 자체 테스트에 기반한 것이며, 독립적으로 재현되지 않는 한 공급업체 보고로 이해해야 한다. 그럼에도 이번 공개는 프런티어 연구소가 적대적 테스트를 수작업 검토 과정에서 확장 가능한 학습 루프로 바꾸려는 방식을 보여주는 가장 명확한 사례 중 하나다.

OpenAI가 말하는 GPT-Red의 역할

OpenAI는 GPT-Red를 현재 가장 우수한 자동화 안전 레드팀 모델로 설명한다. 정적인 벤치마크처럼 작동하기보다 GPT-Red는 더 능동적인 공격자처럼 행동한다. 프롬프트를 보내고, 대상 모델의 응답을 관찰하며, 실패 조건을 향해 반복한다. OpenAI의 표현에 따르면 이는 전통적인 평가 세트보다 인간 레드팀어에 더 가깝다.

회사는 이 시스템이 자기대전 강화학습(self-play reinforcement learning)으로 훈련되었다고 밝혔다. GPT-Red가 공격을 수행하고, 방어 모델 집합은 공격을 견디면서도 의도된 작업을 완료하려고 한다. GPT-Red는 성공적인 프롬프트 인젝션과 같은 유효한 실패를 유발할 때 보상을 받고, 방어 측은 작업을 유지하고 조작에 저항할 때 보상을 받는다. 방어 모델이 더 좋아질수록 OpenAI는 GPT-Red가 더 강하고 다양한 공격 전략을 찾아야 한다고 설명했다.

이 설정이 중요한 이유는 많은 공개적 강건성 테스트가 상위 모델이 그것들에 과적합하거나 단순히 포화시켜버리면 의미를 잃기 때문이다. OpenAI는 일반적으로 사용되는 강건성 평가가 이미 최신 모델들에 의해 포화되었다고 명시적으로 말했다. GPT-Red는 이 문제에 대한 대응으로 제시된다. 고정된 프롬프트 집합으로 시험하는 대신, OpenAI는 새로운 공격을 지속적으로 생성하려는 것이다.

회사는 또한 GPT-Red를 자사의 가장 큰 사후학습 중 일부와 비슷한 수준의 컴퓨트 규모에서 훈련했다고 밝혔으며, 이를 안전성 향상에만 전적으로 투입된 전례 없는 양의 컴퓨트라고 표현했다. OpenAI는 제공된 자료에서 구체적인 컴퓨트 수치를 제시하지 않았으므로, 규모는 방향성을 보여줄 뿐 발표만으로 독립적으로 측정할 수는 없다.

프롬프트 인젝션에 집중하는 이유

이번 공개가 프롬프트 인젝션에 집중하는 이유는, 도구를 사용하는 AI 시스템에 가장 실용적인 보안 문제 중 하나이기 때문이다. OpenAI는 모델이 브라우저, 연결된 앱, 로컬 파일, 기타 도구를 통해 제3자 데이터와 점점 더 많이 상호작용한다고 지적했다. 이런 통합은 실제 효용을 만들지만, 공격자에게는 새로운 영향 경로도 제공한다.

OpenAI의 예시에서는 악의적인 지시가 웹페이지, 이메일, 도구 응답, 저장소 파일에 삽입되어 모델을 민감한 데이터를 다른 곳으로 보내는 등 위험한 행동으로 유도할 수 있다. AI 에이전트를 만드는 제품팀에게 이는 추상적인 문제가 아니다. LLM이 외부 시스템을 읽고 행동을 취할 수 있게 되는 순간, 숨겨진 지시가 개발자가 의도한 규칙과 경쟁할 수 있다.

이 점은 OpenAI가 GPT-Red를 단순한 평가가 아니라 모델 학습과 직접 연결하는 이유를 설명한다. 회사는 GPT-5.6의 적대적 학습을 위해 프롬프트 인젝션을 생성하는 데 GPT-Red를 사용했다고 밝혔다. 다시 말해, 이 시스템은 안전성 보고서용 실패만 찾는 것이 아니라, 향후 모델을 더 조작하기 어렵게 만들기 위한 학습 데이터를 만들어내고 있다.

OpenAI는 또한 GPT-Red를 실제 배포 모델과 분리해 유지한다고 밝혔다. 그 이유는 의도적으로 훈련된 악성 능력을 광범위하게 접근 가능한 시스템에 넣는 것을 피하면서도 방어상의 이점을 생산 모델로 이전하기 위해서다. 이 분리는 더 강력한 안전 테스트 도구가 널리 노출될 경우 스스로 이중용도 공격 도구가 될 수 있다는 우려를 가진 엔터프라이즈 AI 구매자들에게 특히 주목할 만하다.

성능 주장과 검증된 내용

이번 발표에서 가장 강한 성능 주장은 OpenAI 자체에 의한 것이다. 회사는 이전 모델들이 GPT-Red의 프롬프트 인젝션 공격에 매우 취약했으며, GPT-5.6 Sol이 GPT-Red를 활용한 적대적 학습 이후 지금까지 가장 강력한 모델이 되었다고 말했다.

구체적으로 OpenAI는 GPT-5.6 Sol이 가장 어려운 직접 프롬프트 인젝션 벤치마크에서 4개월 전 자사 최고의 프로덕션 모델보다 실패가 6배 적었다고 밝혔다. 벤치마크가 안정적이고 대표적이라면 의미 있는 주장이다. 그러나 제공된 자료만으로는 벤치마크 설계, 샘플 크기, 그리고 결과가 고객 워크로드에 얼마나 잘 전이되는지 평가하기에 충분한 세부 정보가 없다. 따라서 이 수치는 시장 전체의 기준이라기보다 내부 진행 신호로 이해하는 것이 가장 적절하다.

OpenAI는 또한 GPT-Red가 GPT-5.5까지 포함해 테스트 대상의 거의 모든 모델을 무너뜨릴 수 있다고 보고했다. 이것 역시 공급업체 보고 주장이다. 이는 OpenAI 자체 안전 파이프라인 안에서 GPT-Red의 가치를 보여주지만, 외부 관찰자는 아직 그 범위나 재현성을 독립적으로 판단할 충분한 정보를 갖고 있지 않다.

더 흥미로운 주장 중 하나는 일반화에 관한 것이다. OpenAI는 Dziemian et al. (2025)이 설명한 간접 프롬프트 인젝션 아레나를 재현한 버전에서 GPT-Red를 테스트했다고 밝혔으며, GPT-Red의 학습 시나리오와는 다른 환경과 목표를 사용했다. 그 평가에서 GPT-Red는 84%의 시나리오에서 성공적인 공격을 찾아낸 반면, GPT-5.1을 공격하는 인간 레드팀어는 13%에 그쳤다고 회사는 말했다. 만약 정확하다면, 자동화된 적대적 탐색이 일부 제한된 환경에서는 이미 수작업 테스트를 능가할 수 있음을 시사한다. 그러나 이 실험은 원문 자료에서 외부 평가자가 아니라 OpenAI가 설명한 것이므로, 여전히 공급업체 보고 벤치마킹의 범주에 속한다.

증거, 한계, 그리고 아직 불명확한 점

이 이야기의 핵심 사실은 OpenAI의 공식 발표에서 나온다. 같은 내용을 다룬 Google News 스타일의 와이어 기사도 있었지만, 실질적인 추가 보도는 없었다. 즉, 여기서 가장 중요한 주장들—컴퓨트 규모, 공격 성공률, 벤치마크 개선, 일반화—은 대부분 OpenAI에 기반한다.

이번 발표가 분명히 보여주는 것은 과정이다. OpenAI는 내부 자동화 레드팀 시스템을 구축했고, 자기대전으로 학습시켰으며, 프롬프트 인젝션에 강하게 집중했고, 이를 GPT-5.6의 적대적 학습에 사용했다. 다만 현재 उपलब्ध한 증거로는 외적 타당성이 아직 명확하지 않다.

OpenAI는 제공 자료에서 가장 어려운 벤치마크의 상세 방법론, 정확한 위협 모델 분포, 비용 대비 효과, 대규모로 GPT-Red를 운영할 때의 운영 오버헤드를 제시하지 않는다. 또한 완전히 독립적인 레드팀 조직이나 장기 프로덕션 에이전트 워크플로우에서 성능이 어떻게 유지되는지도 보여주지 않는다. 다만 회사는 인간 및 제3자 레드팀, 다층적 안전장치, 실시간 모니터링과 함께 GPT-Red를 계속 사용할 것이라고 밝혔다. 이는 OpenAI가 GPT-Red를 더 넓은 안전 통제를 완전히 대체하는 것으로 제시하지 않는다는 유용한 신호다.

빌더와 엔터프라이즈 AI 팀에게 의미하는 바

AI 빌더에게 실질적 교훈은 안전성이 정적 평가에서 지속적인 적대적 학습으로 이동하고 있다는 점이다. AI 에이전트, 코딩 어시스턴트 제품, 워크플로 자동화 시스템을 출시하는 팀은 규모가 작더라도 GPT-Red에 해당하는 내부 시스템이 필요할 수 있다. 모델이 테스트를 익히게 되면 고정된 안전 벤치마크는 덜 유용해진다. 동적 공격 생성이 표준 스택의 일부가 될 수 있다.

엔터프라이즈 AI 구매자에게 이번 발표는 다음 조달 질문이 어디로 향해야 하는지 보여준다. 이제 모델 공급업체가 안전 정책을 갖고 있는지만 묻는 것으로는 충분하지 않다. 구매자는 공급업체가 도구를 사용하는 환경에서 프롬프트 인젝션을 어떻게 테스트하는지, 그런 테스트에 제3자 콘텐츠에서 오는 간접 공격이 포함되는지, 적대적 발견이 어떻게 학습으로 되돌아가는지, 배포 후 어떤 런타임 모니터링이 남아 있는지 물어봐야 한다.

이번 공개는 엔터프라이즈 AI의 경쟁 구도도 더 분명하게 만든다. 모델 공급업체들은 시스템이 검색하고, 문서를 읽고, 도구를 트리거하고, 회사 데이터에 행동할 수 있는 환경에서의 채택을 점점 더 원한다. 이는 프롬프트 인젝션 강건성을 학술적으로 흥미로운 수준이 아니라 상업적으로 중요한 요소로 만든다. OpenAI가 GPT-5.6과 GPT-5.6 Sol이 현실적인 도구 환경에서 훨씬 더 조작하기 어렵다는 것을 보여줄 수 있다면, 민감한 워크플로를 위해 프런티어 모델을 비교하는 구매자에게 중요할 수 있다.

동시에 OpenAI의 접근은 비용 문제도 제기한다. 대규모 사후학습 컴퓨트에서 내부 공격 모델을 훈련하는 것은 프런티어 연구소에는 가능하지만, 작은 모델 공급업체나 애플리케이션 스타트업에는 훨씬 어렵다. 이는 플랫폼 공급자와 그 위에 구축되는 생태계 사이의 안전 인프라 격차를 더 벌릴 수 있다.

앞으로 주목할 점

다음으로 볼 핵심 신호는 독립적 검증이다. 외부 연구자, 제3자 레드팀 회사, 또는 고객이 GPT-5.6이 실제 에이전트 워크플로에서 프롬프트 인젝션에 대해 실질적으로 더 강한 저항성을 보인다고 보고하기 시작하면 이번 발표의 무게는 더 커질 것이다.

또 다른 중요한 신호는 OpenAI가 평가 설계, 프롬프트 인젝션을 넘어선 전이 성능, 비용 효율성 등을 포함해 GPT-Red에 대한 더 깊은 방법론적 세부사항을 공개하는지 여부다. 자기대전 강화학습 사용은 다른 안전 범주로 확장될 수 있는 재사용 가능한 패턴을 시사하지만, 여기 제시된 증거만으로는 아직 입증되지 않았다.

GPT-Red 자체는 내부 전용으로 남더라도 OpenAI가 엔터프라이즈 제어, 평가 도구, API를 통해 이 작업의 일부를 간접적으로 제품화할지도 지켜볼 만하다. OpenAI 위에서 개발하는 사람들이 더 나은 테스트 하네스나 더 명확한 프롬프트 인젝션 진단에 접근할 수 있다면, GPT-Red의 영향은 OpenAI의 자체 모델 학습을 넘어 확장될 것이다.

마지막으로 더 큰 질문은 다른 연구소들도 같은 길을 따를지다. 자동화 레드팀이 프런티어 모델 개발의 일반적인 일부가 된다면, GPT-Red 같은 시스템 간 비교는 기본 모델 간 비교만큼 중요해질 수 있다.

Creati.ai 관점

OpenAI의 발표는 단일 안전 기능보다 개발 철학의 변화에 가깝다. 회사는 모델이 도구와 외부 데이터를 가로질러 동작하게 되는 순간, 정렬과 강건성은 손수 만든 테스트와 주기적인 인간 검토만으로는 충분하지 않다고 주장한다. GPT-Red는 실패 발견을 산업화하려는 시도다.

그렇다고 문제가 해결된 것은 아니다. GPT-5.6과 GPT-5.6 Sol을 둘러싼 헤드라인급 성과는 OpenAI 자신의 것이고, 프롬프트 인젝션은 여전히 움직이는 표적이다. 그러나 엔터프라이즈 AI, 코딩 어시스턴트 제품, AI 에이전트를 구축하는 팀에게 전략적 교훈은 분명하다. 강건한 시스템은 점점 더 정적 기준표가 아니라 능동적인 공격자에 맞춰 학습될 것이다. 그런 의미에서 GPT-Red는 단지 내부 프로젝트라기보다, 모델 안전 엔지니어링이 어디로 향하고 있는지를 보여주는 신호로서 더 중요할 수 있다.