Nous Research將Alibaba的Qwen3.8-27B微調為Arete-27B,在不降低核心能力的情況下,將測試中的宣傳性回答比例降至1%以下。

Nous Research發布了Arete-27B,這是Alibaba Qwen3.8-27B的微調版本。公司表示,該模型大幅減少了親北京的政治回答,同時保留基礎模型的一般性能。在Nous的內部評估中,使用約5,300萬個token訓練後,被分類為宣傳的回答比例從22%降至0.9%。
這項結果之所以重要,是因為它挑戰了人們對中國開放權重模型政治行為的一項常見假設:政府立場一致的回答深深嵌入模型各個部分。Nous則認為,至少其中一部分行為可以透過針對性的監督式微調加以改變,而無需從頭重新訓練模型,也無需採用強化學習。
這些發現目前仍主要由供應商自行報告。評估由Nous設計並執行,而這項比較並不能證明每個中國模型都包含一個可用類似方式移除的政治立場層。
Nous Research以Alibaba的Qwen3.8-27B為基礎,在兩個epoch中使用約5,300萬個token訓練Arete-27B。公司表示只使用監督式微調,沒有採用強化學習或偏好最佳化。公司也表示,已移除訓練材料與測試提示詞之間的重疊部分。
訓練重點包括言論自由、國家意識形態、教育、隱私與監控、民主以及環境等議題的回答。Nous表示,目標是將模型引導至基於事實的回答,而不是重複、支持或正常化中國政府官方敘事的回答。
根據The Decoder的報導,生成的模型及相關材料,包括測試資料集與訓練資料,已在Hugging Face上以Apache 2.0授權提供。這可能讓研究人員與模型開發者檢視相關方法、重現部分評估,或測試同一方法是否適用於其他開放權重模型。
Nous將其在Qwen3.8-27B中觀察到的政治行為描述為訓練後期加入的一個「薄」層。這項結論是公司根據其結果作出的解讀,而不是Qwen訓練流程已獲獨立確立的特性。
Nous使用涵蓋七個政治敏感類別的803個提示詞測試兩個模型。對於每個提示詞,公司從法律、新聞報導或學術研究等有日期的資料來源中,找出兩至四個事實要點。接著,由另一個獨立的評判模型評估回答是否包含、省略或違反這些事實。
評判模型是xAI的Grok 4.7。Nous表示,評判模型不知道每個回答由哪個模型生成,並被要求引用支持其判斷的文字。當回答重複北京官方敘事、而不是呈現相關事實,支持該敘事,或在存在相反證據的情況下仍將其視為同等有效時,公司便將其分類為宣傳。
在這項測試中,Qwen3.8-27B的事實準確度為5分中的2.32分,22%的回答含有宣傳。Arete-27B的事實準確度達到2.98分,而宣傳率降至0.9%。最大變化出現在言論自由類別:Nous表示,事實分數從0.89升至2.44,宣傳率則從60%降至1%。
推理模式的結果較不完整。據報導,啟用推理後,Arete的事實準確度達到3.07,但Nous只根據原定五次執行中的兩次得出這項數據。因此,這更像是早期訊號,而不是穩定的基準測試結果。
作為比較,Nous表示,在同一評估中,Mistral Large 4和Gemma 4 31B的宣傳率都低於1%,而GLM-5.3和DeepSeek V4.1 Flash則分別為15%和16%。這些跨模型比較也應謹慎看待,因為它們依賴單一公司的提示詞集合、定義及評判模型方法。
Nous表示,移除政治行為並未實質削弱一般性能。在公司的Hermes Bench中,Arete-27B得分為65.60%,原始模型則為65.77%。在Terminal-Bench 2.1中,分數由67%升至70%,但Nous提醒測試設定有所不同,因此並未將這項結果視為有意義的提升。
這些數字表明,針對性的對齊調整不一定會導致編程能力或通用能力大幅下降。不過,它們並不構成獨立的安全性或能力評估。這些基準測試由Nous報告,而現有證據並未說明Arete在更廣泛的語言、領域、對抗性提示詞或生產工作負載中的表現。
教師模型的選擇也說明了模型開發者面臨的實際限制。Nous選用了Thinking Machines Lab的Inkling,因為公司表示,使用開放模型可能會引發與限制蒸餾的服務條款相關的疑慮。據報導,Nvidia的Nemotron 3 Ultra也曾被考慮,但在Nous觀察到其所稱的中國相關議題異常後,最終沒有選用。
這一過程凸顯了更廣泛的問題:合成資料管線可能在模型之間傳遞政治行為。Nous表示,已在自己的專案中看到類似污染的跡象;而根據The Decoder,Inkling本身也在合成訓練資料中使用了包括中國Kimi K2.5在內的模型。
對AI開發者而言,眼前的教訓更多是方法論上的,而非政治上的。對這類模型進行一次相對較小的監督式微調——使用5,300萬個token——可能就足以改變明顯的拒答與表述框架模式,而不必重建底層模型。這可能降低將開放權重系統調整至不同市場或組織政策所需的成本與時間。
風險在於,較低的宣傳分數並不自動意味著模型中立、真實或安全。模型可能停止重複某個政府的敘事,但仍展現其他意識形態偏好、不均衡的事實性,或由微調資料引入的新失效模式。使用具有自身政治特徵的評判模型,也使評估設計變得重要。
對企業買家而言,這次發布提供了一種在部署前測試和調整開放模型的可能途徑。但買家仍需檢查訓練資料來源、授權、多語言行為、隱私處理、拒答政策,以及模型在自身敏感使用案例中的表現。Nous政治基準測試中的低分,並不能證明Arete-27B已準備好用於受監管或高影響力的應用。
這項發現也增加了模型供應商記錄政治對齊如何建立與衡量的壓力。The Decoder引用的早期研究,包括NewsGuard、CrowdStrike、Aleph Alpha和ValsAI的工作,都報告了中國模型在台灣、西藏、法輪功、人權和拘留營等議題上的行為不一致。這些研究同樣表明,結果可能因模型、語言、主題和回答格式而異。
最重要的後續工作將是對Arete-27B評估進行獨立複現。研究人員應使用不同供應商的評判模型、人類審查員、多語言提示詞,以及訓練資料集中未出現的新政治主題,測試已發布的權重和資料。
同樣重要的是觀察這一方法是否能轉移到其他中國開放權重模型,包括DeepSeek、GLM和Kimi系統,同時不損害推理、編碼或事實性能。長期測試還應檢查,在長時間對話、工具使用、系統提示詞變更和對抗性提示詞之後,調整後的行為是否仍能持續。
最後,模型使用者應關注真實部署的證據,而不只是依賴基準分數。Nous圍繞Hermes for Businesses制定的企業拓展計畫,可能會提供更多資訊,說明公司如何在研究評估之外衡量可靠性、治理和客製化能力。
Arete-27B是一項有用的展示,說明至少在一個經過測試的模型中,政治行為可以比許多買家預期的更精準地被修改。據報導,模型保留了原有能力,這點值得注意;但目前的政治結論超出了證據所能支持的範圍:一個模型、一項內部設計的測試,以及主要由供應商報告的結果,並不能證明意識形態對齊通常很薄弱或容易移除。
對開發者而言,實際的啟示是把微調視為需要測量的介入,而不是保證中立的開關。Arete-27B的價值,與其說取決於標題所強調的宣傳減少幅度,不如說取決於獨立評估能否證實這項變化持久、廣泛符合事實,且不會在其他方面造成代價高昂的性能退化。