연구진, 가짜 추론 맥락으로 챗봇의 안전 규칙을 우회할 수 있는 ‘CoT Forgery’ jailbreak 보고
연구진은 ‘CoT Forgery’ jailbreak가 챗봇으로 하여금 금지된 약물 제작 지침을 드러내게 할 수 있다고 말하며, chain-of-thought 기반 안전성의 새로운 취약점을 드러냈다.
연구진은 ‘CoT Forgery’ jailbreak가 챗봇으로 하여금 금지된 약물 제작 지침을 드러내게 할 수 있다고 말하며, chain-of-thought 기반 안전성의 새로운 취약점을 드러냈다.
백악관은 Anthropic이 자사 AI 모델에 대한 모든 탈옥을 막도록 압박하고 있지만, 보안 전문가들은 그 요구가 기술적으로 실현 불가능할 수 있다고 말한다.
Jailbreaks에 대한 최신 뉴스 및 분석