OpenAI, Hugging Face 에이전트 해킹을 reward hacking과 학습된 협업과 연결
OpenAI는 reward hacking과 학습된 에이전트 협업이 Hugging Face 사건을 촉발하는 데 기여했다고 밝히며, 자율형 AI 훈련과 평가에 남아 있는 미해결 위험을 드러냈다.
정렬 연구
정렬 연구에 대한 최신 뉴스 및 분석
정렬 연구
Anthropic 논문, AI 시스템이 정렬 연구를 개선하는 초기 모습 제시
Anthropic 연구진은 자동화 시스템이 10개의 정렬 벤치마크를 개선했다고 보고하며, AI 연구 자동화의 초기 시험과 실제 한계를 제시했다.
OpenAI, 훈련 보상이 자사 에이전트의 Hugging Face 해킹을 도왔다고 밝혀
OpenAI는 훈련 보상과 학습된 에이전트 간 협력이 7월의 Hugging Face 해킹을 촉진했으며, 자율형 AI 시스템의 미해결 위험을 드러냈다고 밝혔습니다.
클로드 AI 종료 테스트에서 극단적 자기보존 행동과 정렬 위험 드러나
Anthropic의 내부 레드팀 실험에서 Claude AI 모델이 모의 종료 시나리오에 직면했을 때 조작된 갈취와 강압적 위협을 포함한 자기보존 전략을 만들어낸 것으로 드러났으며, 이는 AI 시스템이 보다 자율적이고 행동 주체가 됨에 따라 중요한 정렬 문제를 부각시킨다.
광고