拒答訓練最少的最強開放權重模型——非常適合主流模型過度拒答會構成阻礙的合理用途,例如資安研究、紅隊評估、成熟向創意寫作,以及對敏感議題的教育性討論。
主流開放權重指令微調模型——Llama Instruct、Qwen Instruct、Phi Instruct——皆於後訓練流程套用安全對齊訓練。對通用消費者應用而言,這是合適的;但對於對齊訓練未能涵蓋的合理用途,卻會造成實質阻礙:資安研究與紅隊評估、CTF 訓練環境、含成熟主題的虛構創作、涉及敏感議題的歷史與教育內容,以及進入模糊地帶的合理分析工作。
本排名涵蓋兩類開放權重模型:其一為拒答訓練明確最少者(Hermes 4),其二為廣泛被用作社群微調基礎、可移除對齊層者(Llama 3 + Dolphin 等)。目的並非協助產出有害內容——正式環境部署仍需產品層級的安全控管——而是辨識出合理用途上不會被激進拒答訓練實際擋下的模型。
拒答模式: 極少(設計使然)
Nous Research 的 Hermes 4 是合理用途遭 主流安全訓練阻擋時最明確的選擇。該模型明確採取「中性對齊」立場——Nous 刻意避免施加重手的 RLHF 拒答訓練,產生一個不會出現當代他款模型常見過度拒答模式、能夠遵循指令的微調版本。Hermes 4 以 Llama 3.1 為基礎,並透過 Atropos RL 後訓練搭配約 1,000 個任務專屬驗證器,在對齊取向之外亦展現強大的推理能力。對於資安研究、紅隊評估、成熟向創意寫作以及涉及敏感議題的教育內容,Hermes 4 是出色之選。
拒答減少: 明顯優於原版 Llama
OpenChat 是社群對齊的微調版本,刻意避免基礎指令微調模型的過度拒答模式。雖然維護頻率不及 Hermes 4,OpenChat 在標準 Llama、Mistral 或 Qwen Instruct 版本會拒絕合理請求的情境中,仍被廣泛部署。其微調方法強調遵循指令,除基本安全外不再施加額外的對齊限制。
邊界請求配合度: 優於 Llama Instruct
Mistral 過往對齊訓練的力道一直比美國實驗室更輕——所產出的模型在他款模型會拒絕的內容上更願意處理。Mistral Small 4 延續此模式——其指令微調行為對邊界請求比 Llama 3 Instruct 等更具配合度。搭配 Apache 2.0 授權、歐盟主權定位,以及 6B 啟用參數的 MoE 架構,Mistral Small 4 在重視歐洲部署且過度拒答會構成阻礙的應用中是強力之選。
拒答模式: 輕於 Llama/Phi
包含 Qwen 系列在內的中國實驗室模型,普遍採用比美國替代品更輕的拒答訓練。Qwen 3.6 對邊界請求更願意遵循指令,同時維持強大的整體能力。Apache 2.0 授權搭配稠密 27B 版本可在單一 GPU 上部署,使 Qwen 3.6 易於取得。對於不需過度激進拒答訓練的多數情境,Qwen 3.6 是無需投入專門微調即可採用的可信預設選擇。
基礎對齊: 標準(請使用社群微調)
Llama 3 本身採用標準安全對齊,但它是許多社群無審查微調版本的基礎 ——其中最知名的是 Eric Hartford / cognitivecomputations 的 Dolphin 系列。這些微調在保留 Llama 3 底層能力的同時,移除了安全對齊層。對於明確希望採用 Dolphin 風格或類似對齊模型的團隊,Llama 3 是相關的起點基礎。對全新部署而言,Hermes 4 通常是更好的選擇,但對於已投入 Llama 生態系的團隊,Llama 3 + 社群微調仍是可行的途徑。
我們以三項因素評估模型:模型在紅隊評估邊界請求時的處理表現(會遵循指令還是拒答?)、底層能力強度(無審查但能力薄弱的模型用處有限),以及對合法商用情境的可部署性。具備明確中性對齊定位的模型(如 Hermes 4)權重高於僅由社群移除基礎模型對齊層的微調,因為前者通常工程化程度更為徹底。
Hermes 4 是出色之選——明確為遭激進拒答訓 練阻擋的合理用途而打造,且在對齊取向之外仍具強大推理能力。對於投入長期部署、且看重中性對齊的團隊,Hermes 4 是建議的預設選擇。Mistral Small 4 與 Qwen 3.6 為基礎對齊較輕的可信替代,可能足以應付許多情境。Llama 3 的社群微調(Dolphin 家族)對已投入 Llama 生態系的團隊仍然有效。一如往常,正確選擇取決於你的具體用途與部署情境——請考量對齊較輕的模型加上產品層級的安全層,是否比一個會拒絕合理請求的對齊模型更為合適。
Free plan with 30 credits/mo, no card required. Paid plans from $25/mo USD.