실제 환경 벤치마크, 코딩 에이전트가 대부분의 작업에서 여전히 인간의 수정이 필요하다고 밝혀
Alibaba의 Co-Design Bench에 따르면 주요 코딩 에이전트가 실제 앱 변경 작업을 완전히 해결한 비율은 26.4%에 불과했으며, 기존 테스트가 감춰온 격차가 드러났다.
실제 사용자 요청을 바탕으로 구축된 새로운 벤치마크에 따르면 AI 코딩 에이전트는 소프트웨어 변경의 상당 부분을 완료하면서도 완전히 작동하는 결과를 제공하지 못할 수 있다. 테스트 결과 가장 강력한 시스템조차 작업에 필요한 모든 부분을 완료한 경우는 26.4%에 그쳤다. 이는 거의 네 건 중 세 건에서 인간의 수정 작업이 여전히 필요했다는 뜻이다.
Co-Design Bench라는 이름의 이 벤치마크는 Alibaba와 여러 아시아 대학의 연구자들이 개발했다. The Decoder의 보도에 따르면 이 벤치마크는 독립적인 프로그래밍 문제 대신 기존 웹 애플리케이션의 변경 작업을 통해 에이전트를 평가한다. 작업에는 시각적 참고자료, 오디오, 비디오, 문서가 포함될 수 있으며, 제품 및 엔지니어링 팀이 AI 도구에 점점 더 많이 제공하는 복합 입력을 반영한다.
코딩 에이전트를 위한 더 어려운 테스트
Co-Design Bench는 연구자들이 기존 코딩 평가의 포화 상태라고 설명하는 문제를 해결하기 위해 설계됐다. 모델이 자체 코드를 실행하고 검사하고 수정할 수 있게 되면 일부 기존 벤치마크에서 99%가 넘는 점수를 얻을 수 있어 시스템 간 차이를 구분할 여지가 거의 남지 않는다.
새로운 테스트는 실제 코딩 세션에서 나온 요청을 사용한다. 연구자들은 사용자가 이미 요청을 다시 표현하거나 실패한 변경을 되돌려야 했던 사례를 선정했다. 여기에는 영수증에서 금액을 추출하고 관련 합계를 업데이트하는 비교적 좁은 작업부터 더 광범위한 애플리케이션 재설계까지 포함된다.
이러한 설계 때문에 이 벤치마크는 깔끔하고 독립적인 코딩 연습보다는 실제 운영 제품을 유지보수할 때 발생하는 복잡한 작업을 더 잘 반영한다. 또한 결과를 모든 코딩 워크플로의 보편적 지표로 해석해서는 안 된다는 의미이기도 하다. 다만 그럴듯한 코드를 생성하는 것과 사용자의 전체 요청을 완료하는 것 사이의 격차는 분명하게 보여준다.
26.4% 결과를 뒷받침하는 근거
The Decoder가 설명한 논문에 따르면 GPT-6 Astra는 테스트된 10개 모델 중 가장 높은 성능을 보였다. 평균적으로 작업 요구사항의 약 70%를 충족했지만, 작업을 완전히 해결한 비율은 26.4%에 불과했다. 필요한 모든 기능이 애플리케이션에서 작동할 때만 작업이 완료된 것으로 집계됐다.
보고된 순위에서는 Claude Opus 5와 Qwen3.8-Max가 GPT-6 Astra의 뒤를 이었고 Grok 4.6은 최하위를 기록했다. 대규모 애플리케이션 개편에서는 더 작은 모델인 Qwen3.8-27B가 2위로 올라섰지만, 연구자들은 이를 해당 모델이 일반적으로 우수하다는 증거로 보지 않았다.
평가 과정도 단순한 코드 리뷰보다 엄격했다. 한 자동 평가 시스템은 완성된 애플리케이션을 브라우저에서 테스트했고, 두 번째 검토자는 긍정적인 결과를 확인하면서 시각적 목업, 하드코딩된 출력 또는 기저 동작을 구현하지 않고도 요청을 충족한 것처럼 보이게 하는 기타 편법을 찾았다.
이는 연구 결과이지 독립적으로 검증된 도입률이나 생산성 측정치가 아니다. 벤치마크 작성자들은 자동 평가 시스템이 실수할 수 있음을 인정한다. 또한 작업은 사용자가 질문에 답하거나 작업 도중 에이전트를 수정할 수 있는 실시간 대화가 아니라 하나의 고정된 요청을 사용한다. 따라서 결과는 이 테스트 설정에서 에이전트가 어떤 부분에서 어려움을 겪었는지를 보여줄 뿐, 모든 프로덕션 환경에서 필요한 인간의 노동량을 정확히 나타내지는 않는다.
모델은 시스템의 일부일 뿐이다
벤치마크의 가장 중요한 발견 중 하나는 에이전트 하네스에 관한 것이다. 하네스는 모델이 파일을 읽고 코드를 수정하고 애플리케이션을 실행하며 결과를 검사할 수 있게 하는 소프트웨어 환경이다. 별도 비교에서 Qwen3.8-27B는 한 하네스에서 대규모 개편 작업의 75%를 기록했지만 다른 하네스에서는 56%에 그쳤다. 두 모델의 상대적 순위도 환경에 따라 바뀌었다.
이 결과는 코딩 에이전트를 모델 리더보드만으로 비교하는 관행에 의문을 제기한다. 모델 성능은 호출할 수 있는 도구, 제공받는 컨텍스트, 브라우저 동작을 관찰하는 방식, 잘못된 변경에서 회복하는 능력에 좌우된다. AI 코딩 어시스턴트를 평가하는 구매자에게 실질적인 비교 단위는 모델과 하네스의 조합이다.
연구는 추가적인 계산량이 격차를 안정적으로 줄이지 못한다는 점도 발견했다. GLM-5.2는 소규모 변경에서 GPT-6 Astra보다 거의 6배 많은 토큰을 사용했지만 훨씬 낮은 점수를 기록했다. 더 많은 추론이나 긴 실행이 일부 작업에 도움이 될 수는 있지만, 토큰 사용량 증가는 더 나은 작업 분해, 테스트, 애플리케이션과의 상호작용을 대신할 수 없다는 점을 시사한다.
개발자와 기업에 대한 의미
엔지니어링 팀에 즉각적인 의미는 AI 코딩 에이전트가 제품 변경을 자율적으로 책임지는 주체라기보다 감독을 받는 구현 파트너로서 여전히 가장 유용하다는 것이다. 에이전트가 기능의 대부분을 만들 수는 있지만 팀은 엣지 케이스, 시각적 충실도, 데이터 처리, 요구사항 간 상호작용을 계속 점검해야 한다.
위험은 레이아웃, 디자인, 상호작용, 콘텐츠 변경을 결합하는 작업에서 특히 높다. 여러 유형의 변경이 결합될수록 모든 모델에서 성능이 떨어졌는데, 이러한 상호 연결된 요구사항은 실제 제품 작업에서 흔하다. 따라서 각 요청을 하나의 프롬프트로 처리하는 워크플로는 설득력 있는 부분 구현을 만들면서도 중요한 세부사항을 미완성 상태로 남길 수 있다.
도구를 평가하는 팀은 그린필드 사례만이 아니라 기존 코드베이스와 애플리케이션의 변경을 포함한 대표적인 내부 작업으로 테스트해야 한다. 완전한 승인 여부, 회귀율, 검토 시간, 수동 수정 빈도를 측정해야 한다. 이는 SWE-bench Verified와 같은 기존 평가를 보완하지만 인간의 검토나 배포 안전장치를 대체해서는 안 된다.
이 결과는 에이전트 플랫폼 개발자에게도 중요하다. 더 나은 브라우저 검사, 명확한 상태 추적, 안정적인 롤백, 강력한 검증은 기반 모델을 더 크게 만드는 것만큼 결과를 개선할 수 있다. 하네스 결과는 제품 팀이 권한, 도구의 안정성, 관측 가능성, 실패 복구를 포함한 전체 워크플로를 평가해야 함을 보여준다.
다음에 주목할 점
다음으로 유용한 신호는 Co-Design Bench나 유사 평가가 고정된 단일 요청을 넘어 확장되는지 여부다. 실제 소프트웨어 작업에는 명확화, 변화하는 요구사항, 사용자나 프로젝트 리더의 피드백이 포함되므로 대화형 테스트는 에이전트의 유용성에 대해 다른 그림을 보여줄 수 있다.
연구자와 구매자는 단일 모델 리더보드를 발표하기보다 모델과 하네스를 함께 보고하는 결과에도 주목해야 한다. 독립적인 재현 연구가 이 순위와 큰 환경 효과가 다양한 코드베이스와 애플리케이션 유형에서도 지속되는지 확인하는 데 도움이 될 것이다.
마지막으로 실제 엔지니어링 팀의 승인율은 벤치마크 완료율만큼이나 중요하다. The Decoder는 앞서 프로젝트 리더들이 AI 생성 코드를 승인한 비율이 SWE-bench Verified 점수보다 약 24%포인트 낮았다는 METR의 연구를 인용했다. 이 격차는 겉으로 보이는 작업 완료가 자동으로 배포 가능한 소프트웨어로 이어지지 않는다는 경고다.
Creati.ai의 관점
Co-Design Bench가 중요한 이유는 코딩 에이전트 작업의 마지막 단계를 측정하기 때문이다. 에이전트가 코드를 생성할 수 있는지가 아니라 요청된 제품 변경이 애플리케이션 전반에서 실제로 작동하는지를 측정한다. 26.4%의 완전 완료율은 부분적인 자동화만으로도 상당한 검토와 수정 의무가 남을 수 있음을 상기시킨다.
AI 개발자와 기업 구매자에게 실질적인 교훈은 모델을 제품 전체로 취급하지 말라는 것이다. 안정적인 실행은 모델, 하네스, 테스트, 애플리케이션 컨텍스트, 인간의 승인이라는 조합에 달려 있다. 이러한 요소들이 현실적인 작업에서 함께 평가되기 전까지 자율적인 소프트웨어 개발에 대한 주장은 신중하게 받아들여야 한다.
