MIT CSAIL 博士生 Rikiya Takehi 11 月 2 日在 X 上发布「Weight-Space Programming(权重空间编程)」研究:作者团队(Takehi、Jayden Teoh、Alex Zhang、Omar Khattab)让 GPT-6 Astra 不用梯度、不做训练,直接阅读和修改神经网络权重。博客称 Astra 只改了 Qwen3.5-0.8B 的 13.1 万个权重(0.016%),修复了思考死循环,MATH-500 从 7.9% 升到 48.1%。原帖约 2.4 万赞、177 万浏览,Ethan Mollick 转评「等复现,但这很重要」。以上均为作者自报结果,尚未独立复现。

核心要点速览

  • ✓原帖(2026-11-02 17:51 UTC)抓取时约 24,320 赞、2,697 转发、2,284 引用、177 万浏览、1.5 万收藏;沃顿商学院教授 Ethan Mollick 转评「等待复现,但这很重要」,约 880 赞。
  • ✓实验 8(作者口径):50 次前向预算下,Astra 只改 131,072 个权重(0.016%),Qwen3.5-0.8B 的 MATH-500 从 7.9% 升到 48.1%,IFEval 从 21.0% 升到 62.3%,触及 token 上限的回答从 93.0% 降到 33.1%。
  • ✓实验 5(作者口径):不给数据、梯度和工具,Astra 一次性写出的 MinAtar 策略网络在 Breakout 得 517.4 分,PPO 训练 1 亿步为 15.8、5 亿步为 25.3;Seaquest 为 53.1,低于 5 亿步 PPO 的 88.9。
  • ✓作者自己承认的边界:换成很少死循环的 Gemma 3 270M,Astra 的编辑没让 MATH-500 提升超过约 1 个点;作者结论是改权重能「移除遮住能力的障碍」,但不能凭空加能力。
  • ✓全部实验日志已公开在 GitHub 仓库 RikiyaT/lm_understand-logs,目前只有博客,没有同行评审论文,也没有第三方复现。
X 热议:MIT 团队称 GPT-6 Astra 能直接读写神经网络权重,只改 Qwen3.5-0.8B 的 0.016% 权重让 MATH-500 从 7.9% 升到 48.1%
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

过去几年,大模型被用来优化提示词、Agent 框架,甚至训练代码和超参数,但神经网络权重本身一直只能交给 Adam、Muon 这类优化器靠梯度下降去改,人几乎不可能「手写」或「读懂」一堆浮点数。11 月 2 日,MIT CSAIL 博士生 Rikiya Takehi 在 X 上发布团队博客,声称这条界线开始松动,帖子迅速成为当天 AI 圈最热的讨论之一。作者团队包括 Jayden Teoh、Alex Zhang 和 MIT 助理教授 Omar Khattab(DSPy 作者)。

架构亮点与底层机制

他们把方法叫作「Weight-Space Programming(权重空间编程)」:让通用大模型 GPT-6 Astra 以自然语言目标为准,直接阅读、修复或从零写出网络权重,不经过梯度,也不允许它写训练循环。小网络直接把权重当文本塞进提示词;大网络(如 148 万参数的 9×9 围棋网络、Qwen3.5-0.8B)则给 Astra 一个只能读写张量、不能随意运行网络的 Python 沙盒,并限制前向推理次数。博客称 Astra 能仅凭权重判断策略网络在玩哪款游戏、扩散模型画的是什么形状。

权威 Benchmark 与实测跑分对比

以下全部是作者自报、尚未独立复现的数字。Qwen3.5-0.8B 实验中,50 次前向预算下 Astra 只改 131,072 个权重(0.016%),MATH-500 从 7.9% 升到 48.1%,IFEval 从 21.0% 升到 62.3%,触及 token 上限的回答从 93.0% 降到 33.1%,原因是修复了 Qwen 模型卡本就提醒的思考死循环。MinAtar 实验中,Astra 一次写出的 Breakout 网络得 517.4 分,5 亿步 PPO 为 25.3;但 Seaquest 只有 53.1,低于 PPO 的 88.9。作者也写明,在很少死循环的 Gemma 3 270M 上,编辑没能让 MATH-500 提升超过约 1 个点。

开发者实战落地与开箱指南

目前没有可直接调用的工具,能看的是博客和 GitHub 上公开的全部日志(提示词、Astra 的回复与推理摘要、它跑过的代码和评测)。想动手的开发者可以从日志里的小网络实验入手,用自己能调用的前沿模型复现「读权重识别任务」。需要冷静看待:这是单篇博客、单个闭源模型、主要是小模型;Qwen 的大幅提升主要来自修 bug 而非新增数学能力。X 上 Ethan Mollick 等人的态度是「很重要,但先等复现」。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读X 热议:roon 称「火花」出现就离超人水平只差几个月到几年,「你几乎总是低估 AI」
立即阅读→