← AI下一帧
EP048 | 0.016%:AI 给 AI 做了场"脑手术"

AI下一帧

EP048

0.016%:AI 给 AI 做了场"脑手术"

时长
45分钟
播放
144次
发布
4天前
在小宇宙收听 ↗

Show notes

节目简介

来源:小宇宙
有人没训练任何模型,没喂一条数据,没跑一次梯度下降。他找到一个 8 亿参数的开源模型,只改了里面 0.016% 的数字——像一本几千页的大部头,只在某一页角落改了一个标点——这个模型的数学成绩,涨了六倍。动刀的不是人,是另一个 AI。它干的事叫「权重空间编程」:像程序员读代码那样,直接去读、去改另一个神经网络的权重,全程不训练。正常训练一个模型像教小孩,这种改法是直接打开脑子改神经连接——前者是教育,后者是手术。
适合每一个关心 AI 怎么进化、以及这事会不会失控的人。不用懂机器学习,听不懂的词都用大白话讲。
想听更多 AI 行业深度分析?欢迎在小宇宙搜索「AI下一帧」,每周日早上8点更新。
想聊的欢迎留言,或发邮件给主播:[email protected]
=====================================
时间轴
00:06 0.016% 换来六倍
01:58 他到底干了什么
06:07 看权重猜游戏
11:25 权重能看出"结构",但看不出"行为"
13:44 Astra 手搓一个网络
18:09 0.016% 到底改了什么
23:47 两个重要的限制
27:48 这可能只是个老套路
34:33 那个词是 RSI
40:00 最后一项发明
=====================================
参考链接:
本期主角 · 原文与可验证材料
Weight-Space Programming(Rikiya Takehi 等,MIT CSAIL)
https://rikiyat.github.io/blog/weight-space-programming/
完整实验日志
https://github.com/RikiyaT/lm_understand-logs
编辑后的 Qwen 模型(可自己跑)
https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming
在线 demo(Hugging Face 社区复现)
https://huggingface.co/spaces/akhaliq/weight-space-programming-demo
怀疑派 · Sean Goedecke 的反驳
大语言模型在读写神经网络权重上并不超人
https://www.seangoedecke.com/llms-are-not-superhuman-at-reading-and-writing-neural-network-weights/
他讲引导向量(steering vectors)
https://www.seangoedecke.com/steering-vectors/
Hacker News 上的完整争论
https://news.ycombinator.com/item?id=50344861
免训练改模型的那一大家子技术
Heretic:游戏显卡一下午给模型去审查的开源工具
https://github.com/p-e-w/heretic
Abliteration 学术源头:拒绝是由单一方向决定的(Arditi 等,2024)
https://arxiv.org/abs/2406.11717
金门大桥 Claude(Anthropic,引导向量的经典演示)
https://www.anthropic.com/news/golden-gate-claude
表示工程 Representation Engineering(Zou 等,2023)
https://arxiv.org/abs/2310.01405
ROME:定位并编辑 GPT 里的事实(Meng 等,2022)
https://arxiv.org/abs/2202.05262
MEMIT:一次改几千条事实(ROME 批量版)
https://arxiv.org/abs/2210.07229
任务算术:权重相加减拼出新技能(Ilharco 等,2022)
https://arxiv.org/abs/2212.04089
TIES-Merging:进阶模型合并
https://arxiv.org/abs/2306.01708
antirez 的 DS4(把引导向量做成一等公民)
https://github.com/antirez/ds4
RSI 与 1.9 倍 · 第一次有人拿尺子去量
METR 对 Anthropic 研发加速的评估报告
https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/
报告解读(含完整数字与稳健性区间)
https://theainewsreport.com/2026-11-06-metr-anthropic-ai-rd-acceleration-1-9x-explained.html
延伸 · 手搓权重的先例
AdderBoard(让 coding agent 手搓小 transformer 权重)
https://github.com/anadim/AdderBoard
vgel 的手搓 transformer
https://vgel.me/posts/handmade-transformer/
本期病人:Qwen3.5-0.8B(官方 model card 承认易陷入死循环)
https://huggingface.co/Qwen/Qwen3.5-0.8B
=====================================
前游戏开发者,现海外云厂商架构师 [反向弯曲] 主理的 [AI×游戏] 播客!
帮助互联网|游戏从业人员
拆解全球游戏 AI 前沿动态,深挖技术落地干货。
让你轻松拿捏行业脉搏,预判 AI + 游戏的 "下一帧"。
对未来好奇?速戳订阅!
小红书b站同名:反向弯曲

Listeners say

小宇宙热评

共 4 条 · 按点赞排序
  1. 咸蛋黄披萨37 TOP 1

    · 上海

    0

    听起来好魔幻,以后ai进化不需要人了

  2. Jocelyn_L_Li TOP 2

    · 上海

    0

    很巧,今天刚看到一篇论文arXiv:2611.21449里面说到这个实验并做了扩展,结论大意是模型能读布局但不读机制,算是质疑派吧,但没否定得那么彻底,认为这套方法可以用于初步筛查但做不了严格审计工作。我刚看到实验部分,后面还没细读,主播有兴趣可以看下。

  3. kk_ruBE TOP 3

    · 广东

    0

    临睡听,觉得太炸脑子了,很感兴趣的内容,睡好再认真学习,谢谢播主!

  4. 飞影

    · 四川

    0

    42:01 音乐是自己做的吗?

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的单集添加进来吧