2026-05-09 07:41:27
MiniMax 掃描 20 萬個代幣,發現 M2 系列模型出現 4.9% 的退化
根據 MiniMax 的技術部落格,公司透過完整詞彙掃描,在其 M2 系列模型中發現顯著的代幣退化。約有 4.9% 的 200,000 個代幣顯示出明顯的效能下降,其中日文代幣受到的打擊最嚴重,為 29.7%,而韓文為 3.3%、俄文為 3.7%、中文為 3.9%、英文為 3.5%。這種退化源於在後訓練階段,低頻代幣被推向錯誤的向量空間方向;而像 toolcall 標記這類高頻代幣會持續更新周圍的參數。 MiniMax 使用簡單的代幣重複任務實作了合成資料修復,以穩定整個詞彙。結果立刻顯現:混入日文回覆中的俄文字元比例從 47% 降至 1%,而向量穩定性(餘弦相似度)也從最低的 0.329 提升到所有代幣皆超過 0.97。