AI 에이전트가 모델 개발 작업을 확대하지만, 중요한 판단은 여전히 인간이 통제한다

AI 에이전트는 AI 모델을 구축하는 데 필요한 작업의 점점 더 큰 비중을 맡고 있지만, 새로운 분석에 따르면 연구자들이 무엇을 추구하고 어떻게 진행할지를 결정할 때에는 여전히 훨씬 덜 영향력 있는 것으로 나타났다.

중국 푸단대학교가 참여한 연구팀은 56명의 참가자와 그들이 사용한 에이전트가 포함된 모델 개발 프로젝트의 769개 작업 로그를 검토했다. 연구 결과, AI는 방법과 매개변수에 대한 제안의 최대 55.4%를 제공했지만, 해당 영역의 최종 결정은 인간이 85.5%를 내렸다. 인간은 프로젝트의 목표와 범위도 93.4%의 사례에서 선택했다.

이 결과는 단순한 활동량 지표가 시사하는 것보다 에이전트 자율성을 더 신중하게 봐야 함을 보여준다. 에이전트는 일을 수행하고, 선택지를 만들고, 수정 작업도 처리했지만, 인간의 판단이 여전히 주요 통제 지점으로 남아 있었다. 특히 프로젝트가 모호성, 실패, 전략적 선택에 직면했을 때 그랬다.

Atria Dawn Preview를 시험 사례로

이 프로젝트는 7440억 개의 파라미터를 가진 Mixture-of-Experts 아키텍처 위에 구축된 에이전틱 언어 모델 Atria Dawn Preview를 중심으로 진행됐다. 팀은 이를 연구 및 엔지니어링 작업용으로 설계했으며, 각 작업이 실행 환경과 연결된 워크플로를 사용했다. 에이전트는 도구를 호출하고, 중간 결과를 생성하며, 테스트, 지표 또는 출처 근거에서 피드백을 받을 수 있었다.

연구진은 검토된 작업의 96.5%에서 AI가 사용됐다고 보고했다. 4주 동안 에이전트 행동 대 인간 입력의 중앙값 비율은 11에서 28.5로 증가했다. 이러한 상승은 에이전트가 더 독립적으로 변하고 있음을 보여주는 것처럼 보일 수 있지만, 저자들은 주로 다른 패턴을 반영한다고 주장한다. 즉, 인간의 한 번의 결정이 더 긴 에이전트 행동 연쇄를 촉발하는 경우가 많았다는 것이다.

보고서에 따르면 이 모델은 웹 검색과 사이버보안을 포함한 16개 벤치마크 중 5개에서 선두를 차지했다. 그러나 출처는 Atria Dawn Preview가 경쟁 시스템 전반에 대해 전체적으로 우위를 점했다는 점을 보여주지 않으므로, 벤치마크 결과는 광범위한 우월성의 증거가 아니라 제한적인 성능 주장으로 보아야 한다.

에이전트는 선택지를 제안했고, 사람은 방향을 골랐다

가장 흔한 의사결정 패턴은 “AI가 제안하고 인간이 선택한다”였으며, 방법과 매개변수에 대한 결정의 55.4%를 차지했다. 같은 범주에서 AI가 최종 결정을 내린 비율은 9.2%였고, 인간은 85.5%를 차지했다. AI 제안 비중은 의사결정 유형에 따라 17%에서 55%까지 달랐지만, 최종 선택에서의 역할은 한 자릿수에 머물렀다.

프로젝트 수준의 선택에서는 인간의 통제가 더 강했다. 연구자들은 목표와 범위에 대한 최종 결정을 93.4%의 경우에 내렸다. 참가자들이 AI 없이는 불가능했을 것이라고 말한 151개 작업 중에서도 인간은 95.4%의 경우 목표를 선택했다.

이 구분은 모델 개발에서 중요하다. 에이전트는 수행할 가치가 있는지 스스로 결정하지 않더라도, 가능한 구현의 큰 공간을 탐색하거나 복잡한 실험을 실행할 수 있다. 이번 연구의 증거는 현재 시스템이 연구 의제를 소유한 주체라기보다는 연구 운영자와 제안 생성기로서 더 효과적임을 시사한다.

AI는 작업을 더 빠르게만 한 것이 아니라 더 많이 가능하게 했다

이 연구는 AI 에이전트의 덜 눈에 띄는 효과도 보여준다. AI 지원으로 완료된 455개 작업 중 151개, 즉 약 3분의 1은 같은 범위와 품질을 유지하면서는 AI 없이 불가능했다고 참가자들은 판단했다. 이 작업들은 56명 중 27명에게 걸쳐 있었으며, 소수의 고급 사용자에게만 집중되지 않았다.

이 결과는 에이전트가 기존 워크플로를 단순히 가속하는 데 그치지 않고, 팀이 시도할 수 있는 작업의 범위를 확장할 수 있음을 시사한다. AI 개발자에게 이는 더 많은 실험, 평가, 엔지니어링 변경이 프로젝트 파이프라인에 들어오게 된다는 뜻일 수 있다. 동시에 시도되는 작업량이 늘어날수록 검토가 필요한 행동도 증가하므로, 더 큰 감독 부담을 의미할 수도 있다.

작업이 어려워지면 인간의 개입이 일반적인 해결 방법이었다. 난이도가 기록된 588개 작업에서 76%는 인간의 도움을 통해 진행됐고, 23%는 개입 없이 에이전트가 해결했다. 가장 흔한 도움은 맥락 제공 또는 요구사항 명확화로 35.2%, 문제 진단 또는 방법 변경으로 34.7%였다.

인간이 직접 실행을 넘겨받는 일은 드물었다. 부분 수정은 개입의 3.2%, 완전 인계는 0.7%였다. 피드백이 제공된 뒤, 에이전트가 스스로 수정한 비율은 75.4%였다. 실무적으로 인간의 병목은 보통 수작업 수행이 아니라 판단과 정보였다.

감독 문제는 에이전트 활동이 늘수록 커진다

이 결과는 더 자율적인 모델 개발 가능성을 없애지는 않는다. 대신 에이전트 체인이 길어질수록 더 날카로워지는 통제 문제를 보여준다. 어떤 사람도 모든 중간 행동을 검사할 수 없다면, 인간 검토는 의미 있는 감독이 아니라 요약이나 최종 결과의 승인으로 퇴화할 수 있다.

연구자들은 또한 참가자들이 긴 실행 프로세스를 중단하지 않기 위해 자율 모드를 자주 사용한다는 점도 관찰했다. 이 경계는 팀이 에이전트에게 어느 정도 권한을 부여해야 하는지 공식적으로 결정해서가 아니라 편의상 선택된 것이라고 보고되었다. 기업 AI 팀에게 이는 운영 설정이 조용히 거버넌스 결정이 될 수 있다는 경고다.

이 연구는 현재 시스템을 두 발전 단계 사이에 위치시킨다. AI는 더 이상 단순한 연구 대상이나 좁은 작업 도구에만 머물지 않지만, 명확히 독립적인 연구 책임자가 된 것도 아니다. 저자들은 더 강력한 시스템이 후속 시스템의 생산을 돕는 재귀적 자기 개선을 다음 단계의 가능성으로 설명하면서도, 학습 작업에서의 향상된 성능이 더 나은 모델 설계로 이어지는 경로는 아직 해결되지 않았다고 강조한다.

다음에 주목할 점

가장 중요한 후속 질문은 다른 모델 개발 조직과 프로젝트에서도 유사한 의사결정 패턴이 나타나는지 여부다. 이 연구는 한 팀의 작업만을 조사했으므로, 그 관찰을 AI 자율성의 보편적 척도로 간주해서는 안 된다.

연구자와 구매자는 세 가지 신호를 주의 깊게 봐야 한다. 첫째, 향후 평가는 에이전트 행동과 목표, 방법, 자원 배분에 관한 결정을 분리해야 한다. 둘째, 개발 플랫폼은 긴 에이전트 연쇄에서 최종 권고가 어떻게 나왔는지 드러내는 감사 추적이 필요할 수 있다. 셋째, 자동화된 AI 연구를 주장하는 기업은 인간이 얼마나 자주 목표를 설정하고, 제안을 거부하고, 방법을 바꾸고, 실패 후 개입하는지 공개해야 한다.

재귀적 자기 개선 논쟁도 코드 작성 속도나 실험 처리량뿐 아니라 연구 판단에 대한 증거에 달려 있다. Anthropic 같은 기업의 점점 더 자동화된 연구 방향성에 대한 주장은 이 독립적으로 기술된 프로젝트와는 별개의 증거 범주이며, 공통 측정 없이 직접 비교해서는 안 된다.

Creati.ai 관점

이 연구의 핵심 교훈은 운영적이다. 에이전트 활동이 많아진다고 해서 반드시 에이전트 권한이 더 커지는 것은 아니다. AI 에이전트는 팀이 실행할 수 있는 실험과 엔지니어링 작업의 수를 늘릴 수 있지만, 어떤 질문이 중요한지와 결과가 방향 전환을 정당화하는지 여부를 결정하는 것은 여전히 인간이다.

개발자와 기업 팀에게 당장의 우선순위는 단순히 자율 실행을 최대화하는 것이 아니다. 의사결정의 출처를 보존하고, 불확실성을 드러내며, 긴 에이전트 작업 연쇄 속에 숨겨진 선택을 검토할 수 있는 시스템을 설계하는 일이다. 에이전트가 결과가 나오기 전에 연구 목표를 신뢰성 있게 평가할 수 있게 되기 전까지, 모델 개발에서 인간의 판단은 여전히 희소한 자원으로 남아 있다.