麻省理工学院的研究人员提出了一种名为「权重空间编程」的新方法，通过这一方式，OpenAI 的 GPT-6 Astra能够深入分析并微调阿里云的 Qwen3.5-0.8B 模型的神经网络权重，仅调整约 0.016% 的参数，便将其在 MATH-500 数学基准测试的得分从 7.9% 提升至 48.1%，增长幅度近六倍。值得注意的是，该过程并未依赖于梯度下降或传统的训练循环。

研究团队由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 组成，Takehi 于 11 月 2 日在博客中介绍了这一研究，将其称为「权重空间编程」。该方法的核心理念在于，让大型语言模型直接理解和修改另一神经网络的权重，而非依赖常规的参数调整方式。在实验中，GPT-6 Astra 并非随机改变参数，而是专注于识别 Qwen3.5-0.8B 的推理循环问题。

研究发现，该模型在解决数学问题时经常生成重复内容，导致其回答无法突出，并很快达到密码令牌的长度限制。在前 96 次测试中，有 85 次触及这一上限。研究人员通过创建一个允许 GPT-6 Astra 读取和修改模型权重的 Python 环境，利用 GSM8K 和 MATH 训练集中的练习题进行40轮前向推理，最终定位到 Qwen3.5-0.8B 模型的第 15 层和第 19 层，并对某些权重进行调整，从而减少了导致重复推理的信号。 球友会官网

最后，GPT-6 Astra 仅修改了 131072 个权重，约占 Qwen3.5-0.8B 的 8 亿个参数的 0.016%。在允许进行 50 轮前向推理的实验中，该模型在 MATH-500 测试中的成绩提升至 48.1%，而在 GSM8K 测试中得分也从 13.8% 上升至 67.1%。与此同时，修改后的模型在指令遵循能力上也表现得更好，IEFVal 测试中得分从 21.0% 提升至 62.3%，实现了三倍的增长。此外，因生成长度限制未能完成的数学问题比例也从 93% 降至 33.1%。

值得强调的是，尽管此实验并未完全省去计算步骤，GPT-6 Astra 依然在 Python 环境中进行了权重分析与修改，实施了最多 50 轮前向推理，但没有运用梯度下降或反向传播等技术进行参数更新。研究团队也使用 Gemma 3 270M 模型进行了对照试验，但由于该模型本身较少出现推理循环，其数学能力提升不明显，MATH-500 的成绩仅从 6.8% 增加至 7.7%。因此，他们认为，权重空间编程可以消除模型当前能力发挥中的障碍，但未必能创造出原本不具备的能力。此外，研究还涵盖其他实验，如通过分析神经网络权重识别模型训练过的游戏，以及直接编写可运行游戏的神经网络，研究人员相信这一方法在神经网络可解释性和模型优化领域有广阔的应用前景。