Nous Research, 파인튜닝으로 Alibaba Qwen 모델의 정치 선전 대부분 제거했다고 밝혀
Nous Research는 Alibaba의 Qwen3.8-27B를 Arete-27B로 파인튜닝해 핵심 역량을 낮추지 않고 테스트된 선전성 응답을 1% 미만으로 줄였다고 밝혔다.
Nous Research가 Alibaba의 Qwen3.8-27B를 파인튜닝한 Arete-27B를 공개했다. 회사에 따르면 이 모델은 기반 모델의 전반적인 성능을 유지하면서 친베이징 성향의 정치적 응답을 크게 줄였다. Nous의 내부 평가에서 약 5,300만 토큰으로 학습한 뒤 선전으로 분류된 답변의 비율은 22%에서 0.9%로 떨어졌다.
이 결과는 중국 오픈 웨이트 모델의 정치적 행동에 관한 일반적인 가정에 도전한다는 점에서 중요하다. 정부에 부합하는 응답이 모델 전반에 깊이 내장돼 있다는 가정이다. Nous는 그 대신 적어도 일부 행동은 모델을 처음부터 재학습하거나 강화학습을 적용하지 않고도, 표적화된 지도학습 파인튜닝으로 바꿀 수 있다고 주장한다.
다만 이번 결과는 주로 공급업체가 보고한 것이다. 평가는 Nous가 설계하고 수행했으며, 이번 비교가 모든 중국 모델에 유사하게 제거 가능한 정치적 정렬 층이 있다는 사실을 입증하는 것은 아니다.
Nous가 Qwen3.8-27B에 변경한 내용
Nous Research는 Alibaba의 Qwen3.8-27B를 기반으로 약 5,300만 토큰을 두 에포크 동안 사용해 Arete-27B를 학습했다. 회사는 강화학습이나 선호 최적화 없이 지도학습 파인튜닝만 사용했다고 밝혔다. 또한 학습 자료와 테스트 프롬프트 사이의 중복도 제거했다고 설명했다.
학습은 표현의 자유, 국가 이념, 교육, 개인정보와 감시, 민주주의, 환경에 관한 응답에 집중됐다. Nous는 목표가 공식 중국 정부 서사를 반복하거나 지지하거나 정상화하는 답변이 아니라 사실에 근거한 답변으로 모델을 유도하는 것이었다고 밝혔다.
The Decoder의 보도에 따르면 결과 모델과 테스트 데이터셋, 학습 데이터 등 관련 자료는 Apache 2.0 라이선스로 Hugging Face에 공개됐다. 이를 통해 연구자와 모델 개발자는 접근법을 살펴보고 평가의 일부를 재현하거나, 같은 방법이 다른 오픈 웨이트 모델에서도 작동하는지 시험할 수 있다.
Nous는 Qwen3.8-27B에서 관찰한 정치적 행동을 학습 후반에 적용된 ‘얇은’ 층이라고 설명한다. 그러나 이는 회사 결과에 대한 해석이지, Qwen 학습 과정의 독립적으로 확립된 특성은 아니다.
평가에서 큰 정치적 변화 확인
Nous는 정치적으로 민감한 7개 범주에 걸쳐 803개의 프롬프트로 두 모델을 테스트했다. 각 프롬프트에 대해 법률, 뉴스 보도, 학술 연구 등 날짜가 있는 자료에서 2~4개의 사실적 요점을 추출했다. 이후 별도의 판정 모델이 답변에 해당 사실이 포함됐는지, 누락됐는지, 반박됐는지를 평가했다.
판정 모델은 xAI의 Grok 4.7이었다. Nous는 판정 모델이 각 응답을 어느 모델이 생성했는지 알지 못했으며, 판단을 뒷받침하는 문구를 인용하도록 지시받았다고 밝혔다. 관련 사실 대신 베이징의 공식 서사를 반복하거나, 그 서사를 지지하거나, 반대 증거가 있는데도 동등하게 타당한 것으로 취급하면 해당 답변을 선전으로 분류했다.
이 테스트에서 Qwen3.8-27B의 사실 정확도 점수는 5점 만점에 2.32였고, 응답의 22%에서 선전이 나타났다. Arete-27B는 사실 정확도 2.98을 기록했으며 선전 비율은 0.9%로 떨어졌다. 가장 큰 변화는 표현의 자유 범주에서 나타났다. Nous에 따르면 사실 점수는 0.89에서 2.44로 상승했고 선전 비율은 60%에서 1%로 하락했다.
추론 모드 결과는 완전하지 않다. Arete는 추론을 활성화했을 때 사실 정확도 3.07에 도달한 것으로 알려졌지만, Nous는 예정된 5회 실행 중 2회만을 바탕으로 이 수치를 산출했다. 따라서 안정적인 벤치마크라기보다 초기 신호로 보는 편이 타당하다.
비교를 위해 Nous는 같은 평가에서 Mistral Large 4와 Gemma 4 31B가 각각 1% 미만의 선전 비율을 기록했으며, GLM-5.3과 DeepSeek V4.1 Flash는 각각 15%와 16%를 기록했다고 밝혔다. 다만 이러한 모델 간 비교 역시 한 기업의 프롬프트 세트, 정의, 판정 모델 방법론에 의존하므로 신중히 봐야 한다.
일반 역량에 대한 주장도 내부 평가에 기반
Nous는 정치적 행동을 제거해도 전반적인 성능은 크게 약화되지 않았다고 밝혔다. 회사의 Hermes Bench에서 Arete-27B는 65.60%를 기록했고 원래 모델은 65.77%였다. Terminal-Bench 2.1에서는 점수가 67%에서 70%로 올랐지만, Nous는 테스트 설정이 달랐으며 이를 의미 있는 향상으로 제시하지 않는다고 경고했다.
이 수치는 표적화된 정렬 변경이 코딩이나 범용 능력의 광범위한 손실을 반드시 요구하지는 않는다는 점을 시사한다. 하지만 독립적인 안전성 또는 역량 평가를 의미하지는 않는다. 벤치마크는 Nous가 보고했으며, 공개된 근거만으로는 더 다양한 언어, 영역, 적대적 프롬프트, 실제 운영 워크로드에서 Arete가 어떻게 작동하는지 알 수 없다.
교사 모델의 선택은 모델 개발자들이 직면하는 실질적 제약도 보여준다. Nous는 오픈 모델을 사용하면 증류를 제한하는 서비스 약관과 관련한 우려가 생겼을 것이라며 Thinking Machines Lab의 Inkling을 선택했다. Nvidia의 Nemotron 3 Ultra도 검토됐지만, 중국 관련 주제에서 Nous가 ‘불규칙성’이라고 묘사한 현상을 관찰한 뒤 선택하지 않았다고 전해졌다.
이 과정은 더 넓은 문제를 보여준다. 합성 데이터 파이프라인은 모델 간에 정치적 행동을 전이할 수 있다. Nous는 자체 프로젝트에서도 유사한 오염의 징후를 확인했다고 밝혔고, The Decoder에 따르면 Inkling 역시 합성 학습 데이터에 중국 모델 Kimi K2.5 등을 사용했다.
모델 개발자에게 이 결과가 중요한 이유
AI 개발자에게 당장의 교훈은 정치적이라기보다 방법론적이다. 이 정도 규모의 모델에 5,300만 토큰을 사용하는 비교적 작은 지도학습 파인튜닝만으로도 기반 모델을 다시 구축하지 않고 눈에 띄는 거부 및 프레이밍 패턴을 바꿀 수 있다. 이는 오픈 웨이트 시스템을 서로 다른 시장이나 조직 정책에 맞게 조정하는 데 필요한 비용과 시간을 줄일 수 있다.
위험은 선전 점수가 낮아졌다고 해서 모델이 자동으로 중립적이거나 진실하거나 안전해지는 것은 아니라는 점이다. 모델은 한 정부의 서사를 반복하지 않으면서도 다른 이념적 선호, 불균일한 사실성, 파인튜닝 데이터가 도입한 새로운 실패 모드를 보일 수 있다. 고유한 정치적 특성을 가진 판정 모델을 사용한다는 점도 평가 설계를 중요하게 만든다.
기업 구매자에게 이번 공개는 배포 전에 오픈 모델을 시험하고 조정할 수 있는 방법을 제공할 수 있다. 그러나 구매자는 학습 데이터의 출처, 라이선스, 다국어 행동, 개인정보 처리, 거부 정책, 자체 민감한 사용 사례에서의 성능을 검토해야 한다. Nous의 정치 벤치마크에서 낮은 점수를 받은 것이 Arete-27B가 규제 대상 또는 고영향 애플리케이션에 적합하다는 증거는 아니다.
이번 발견은 모델 공급업체가 정치적 정렬을 어떻게 만들고 측정하는지 문서화해야 한다는 압박도 높인다. The Decoder가 인용한 NewsGuard, CrowdStrike, Aleph Alpha, ValsAI 등의 이전 연구는 대만, 티베트, 파룬궁, 인권, 수용소 등의 주제에서 중국 모델의 행동이 일관되지 않다고 보고했다. 이러한 연구 역시 결과가 모델, 언어, 주제, 응답 형식에 따라 달라질 수 있음을 시사한다.
다음에 주목할 점
가장 중요한 후속 조치는 Arete-27B 평가의 독립적 재현이다. 연구자들은 여러 공급업체의 판정 모델, 인간 평가자, 다국어 프롬프트, 학습 세트에 포함되지 않은 새로운 정치 주제를 사용해 공개된 가중치와 데이터를 테스트해야 한다.
또한 이 방법이 DeepSeek, GLM, Kimi 등 다른 중국 오픈 웨이트 모델에도 추론, 코딩, 사실 성능을 손상시키지 않고 적용되는지 확인해야 한다. 장기 테스트에서는 장시간 대화, 도구 사용, 시스템 프롬프트 변경, 적대적 프롬프트 이후에도 변화된 행동이 지속되는지 조사해야 한다.
마지막으로 모델 사용자는 벤치마크 점수에만 의존하지 말고 실제 배포에서 나온 증거를 살펴야 한다. Hermes for Businesses를 중심으로 한 Nous의 기업용 확장 계획은 연구 평가 밖에서 회사가 신뢰성, 거버넌스, 맞춤화를 어떻게 측정하는지에 관한 더 많은 정보를 제공할 수 있다.
Creati.ai의 관점
Arete-27B는 적어도 한 가지 테스트 모델에서 정치적 행동을 많은 구매자가 예상하는 것보다 더 정밀하게 수정할 수 있음을 보여주는 유용한 사례다. 보고된 역량 유지 수준은 주목할 만하지만, 정치적 결론은 현재 증거가 뒷받침하는 것보다 강하다. 하나의 모델, 내부적으로 설계된 하나의 테스트, 대부분 공급업체가 보고한 결과만으로는 이념적 정렬이 일반적으로 얕거나 제거하기 쉽다고 입증할 수 없다.
개발자에게 실질적인 교훈은 파인튜닝을 보장된 중립성 스위치가 아니라 측정이 필요한 개입으로 보라는 것이다. Arete-27B의 가치는 헤드라인을 장식한 선전 감소폭보다, 독립적인 평가에서 변화가 지속적이고 폭넓게 사실에 부합하며 다른 영역에서 비용이 큰 성능 저하를 일으키지 않는지 확인되는지에 달려 있다.
