在機器學習中有一個令人安慰的假設:壞資料點會被好資料點平均掉。如果你有10,000個訓練範例,其中200個標註錯誤,模型會從9,800個正確的範例中學習,基本忽略雜訊。大數法則保護著你。
這個假設對於微調語言模型是錯誤的,而它錯誤的程度應該讓任何將AI投入生產的人感到擔憂。
少量雜訊、錯誤標註或低品質的訓練資料如何不成比例地降低微調模型效能——以及研究對壞資料不對稱影響的發現。


在機器學習中有一個令人安慰的假設:壞資料點會被好資料點平均掉。如果你有10,000個訓練範例,其中200個標註錯誤,模型會從9,800個正確的範例中學習,基本忽略雜訊。大數法則保護著你。
這個假設對於微調語言模型是錯誤的,而它錯誤的程度應該讓任何將AI投入生產的人感到擔憂。