澳洲新聞網>情系中華>正文[簡體]

先進AI模型已具備直接讀寫神經網路權重的能力，能精準修改權重來提升模型能力研究表明，前沿大模型能夠直…

2026年11月04日 20:21

先進AI模型已具備直接讀寫權重的能力，能精準修改權重來提升模型能力

研究表明，前沿大模型能夠直接讀取和寫入神經網路權重，其能力已顯著超出人類與傳統演算法的預期，這對模型優化與可解釋性具有重要意義。

僅通過檢查原始權重，GPT-6 Astra 即可判斷出神經網路原本的訓練任務。在沒有任何環境反饋的前提下，它能從零編寫出小型遊戲對弈網路，其實際表現優於使用 PPO 演算法訓練 1 億步的模型。在要求不藉助梯度來提升 Qwen3.5-0.8B 的數學能力時，Astra 在權重中定位到了引發推理死循環的問題（該問題在 Qwen 的模型說明中亦有提示），並通過直接修改其中 0.016% 的權重完成修復。在採樣設置保持一致的情況下，這項權重修正使模型在 MATH-500 上的表現從 7.9% 提升至 48.1%，並直接泛化至指令遵循任務，使 IFEval 指標提升了 3 倍。

這一全過程無需模型編寫任何訓練循環。Astra 依靠邏輯推理判斷神經網路各部分正在計算或應當計算的內容，並據此對權重進行調整。這種方法被稱為「權重空間編程」（Weight-Space Programming）。長期以來，深度學習將簡化的歸納偏置寫入 Adam 或 Muon 等符號優化器中；而今後，神經網路權重將直接由具備主動推理能力的大語言模型來進行原生優化。

—— Rikiyat Takehi

本文標籤：