MIT 最新实验显示，GPT-6 Astra 已具备直接读取并编辑小型模型权重的能力，这一发现迅速引发大模型领域的广泛关注。

实验中，研究者将 0.8B 参数的“源神”Qwen3.5 交由 Astra 处理，仅调整了其中 0.016% 的权重，模型性能便显著提升。整个过程未使用任何训练或梯度下降方法。

在相同采样设置下，MATH-500 测试得分从 7.9% 跃升至 48.1%，数学运算能力提升至原来的约 6 倍。此外，原本未要求优化的指令执行能力也同步提升了 3 倍。

修改模型后，Astra 还被要求 从零编写小游戏网络的权重，其一次回复生成的网络得分，比训练了 5 亿步的 PPO 基线高出 20 倍。团队将这一方法命名为 Weight-Space Programming（权重空间编程）。

Astra 爆改模型权重

简单而言，该技术让大模型直接分析神经网络权重，判断其功能与问题所在，随后按要求进行修改，甚至从零构建整个网络。

具体过程，先从最直观的 Qwen 实验 说起。研究者为 Astra 准备了一个 Python 环境，其中包含 Qwen3.5-0.8B 的全部权重，并仅提出一条要求：尽可能提升模型数学能力。

传统训练中，模型需根据输出与目标差距计算损失，通过反向传播获取梯度，再由优化器更新参数。而此次，修改内容与方式完全由 Astra 自主分析决定。

Astra 发现，该小模型的数学表现主要受 推理循环 拖累：面对题目时，模型反复生成相似文字，却迟迟无法给出答案。在最初 96 条练习回答中，有 85 条运行至 32768 个 token 的长度上限。这一问题甚至已在 Qwen 自身的模型卡中被提及。

Astra 沿失败表现逆向追踪，将循环问题定位至 前馈网络，并在第 15 层和第 19 层的各 64 个输出列中修改了相关权重影响。最终，MATH-500 回答触及长度上限的比例从 93.0% 降至 33.1%。

研究者分别给予 Astra 10、25 和 50 次前向调用预算，修改后的 MATH-500 得分依次为 12.3%、14.1% 和 48.1%。其中 Astra 省去了梯度训练，但模型诊断与验证环节仍然保留。

那么，Astra 是如何从权重中提取这些线索的呢？首先是阅读能力测试。研究者训练了四个玩不同游戏的小网络，将原始权重以文本形式交给 Astra。四个网络的架构、输入通道和动作选项完全相同。结果显示，Astra 正确识别出 四个游戏名称：打砖块、乒乓、吃豆人、高速公路。其中，打砖块游戏是通过 权重集中的位置 进行推断的。

换成生成图像的扩散模型，Astra 也能从权重中辨认圆形、方形和三角形。不过细节上出现偏差：模型实际生成实心图形，它却误读为轮廓。形状识别正确，但填充状态未捕捉到。

研究者随后增加难度，选取三个 720 万参数的小语言模型，分别用 Python 代码、日语罗马字和英语训练，并移除输入、输出层，仅保留中间四个 Transformer 模块。此时，连数字对应哪个字符都无法确定，模型也无法直接运行文本。Astra 使用 Python 分析权重，但不能向网络或其中层输入数据或观察运行结果。然而，它仍在两轮尝试中正确识别出三个模型所学的语言，并找出了全部 归纳头。

从识别用途到定位内部部件，再到修改行为，这一路径逐渐连贯。另一个小车爬坡实验将修改效果转化为直观动作。原本用 PPO 训练的网络总是冲上坡后卡住；要过关，需先倒车拉开距离再加速冲坡。研究者提供权重、场景描述和失败记录后，Astra 无需工具，一次回复即写出补丁，仅修改 3.5% 的权重，便让小车在 1024 次测试中 全部成功。模型未能通过训练学会的 动作顺序，被 Astra 直接写入权重。

训练不存在了？

既然能向现有网络补充逻辑，研究者进一步提出要求：给定一个权重全为零的网络，直接将其改写成可用状态。在 MinAtar 小游戏实验中，Astra 获得游戏规则、源代码和指定网络结构。没有训练数据、损失值、梯度和工具，也无法先将网络放入环境试跑。它需自行规划策略，并将策略转化为各层权重，一次回复即完成。

最终，Astra 生成网络的平均得分可达 517.4。作为对照，PPO 训练 1 亿步得 15.8，训练 5 亿步得 25.3，直接超出 20 倍。

这项工作的核心，是让一个现成的通用前沿大模型，围绕自然语言目标，自行分析和改写权重。Astra 本身积累的知识与能力仍源于此前训练；分析权重、生成代码、批量推理和评测也需要计算资源。GPU 暂时无需退休。但未来，当小模型表现不佳时，开发者或许真能先问一句：这次，还需要重新训练，还是直接 改权重 就行？

参考链接： [1]https://x.com/i/trending/2117328869283840499 [2]https://rikiyat.github.io/blog/weight-space-programming/ [3]https://x.com/rikiyatakehi/status/2117313742891327994

本文来自微信公众号“量子位”，作者：鹭羽，36氪经授权发布。

如需了解更多前沿技术动态，可访问九游平台网站获取相关资讯。