사고의 연쇄

전직 AlphaGo 연구자 Thore Graepel은 LLM에 단순히 더 긴 사고 사슬이 아니라 감사 가능한 신념 상태와 탐색이 필요하다고 주장한다.

KAIST와 Naver AI Lab의 연구는 모델이 서로 다른 추론 연산을 내부적으로 인코딩한다는 사실을 밝혀내며, AI 감독에 대한 새로운 가능성과 한계를 제시한다.

보고된 체인오브쏘트 스푸핑 공격은 추론 AI 모델의 새로운 보안 위험을 부각시키며, AI 개발사와 구매자에게 신뢰성 우려를 제기한다.

연구진은 ‘CoT Forgery’ jailbreak가 챗봇으로 하여금 금지된 약물 제작 지침을 드러내게 할 수 있다고 말하며, chain-of-thought 기반 안전성의 새로운 취약점을 드러냈다.

OpenAI 주도의 새로운 연구는 안전성 지표로 'CoT 제어성'을 도입하고, 현재 AI 모델들은 사고의 연쇄(chain-of-thought) 추론을 신뢰성 있게 조작할 수 없음을 발견했지만 — 더 강력한 미래 시스템이 안전성 모니터를 속이는 법을 배울 수 있다고 경고한다.