主播
节目简介
来源:小宇宙
更正和补充:
* LeCun 的论文于 1989 年 7 月投稿、9 月接受、12 月发表,前后约 5 个月。
* 芝加哥大学时期,SIANN 主要用于对候选区域做分类和假阳性筛除;到了 R2 的商业系统,张伟将其改造成 CNN 全图扫描 + 传统算法二次过滤的混合架构。为适应 90 年代有限的算力,他还引入可分离卷积核,将 2D 卷积拆成两个 1D 卷积,大幅降低计算量。
* R2 的 ImageChecker 成为 FDA 批准的首个放射影像 AI 产品。到 2000 年代中期,每年已辅助数千万例读片,并形成数亿美元规模的保险支付。
------------------------------------------------------------------
我是在 Wikipedia 上查卷积神经网络历史的时候,第一次看到 Wei Zhang 这个名字的。
Wiki页面上写着:1988 年,他用反向传播训练了一个具有平移不变性的神经网络。时间甚至早于 LeCun 那篇后来广为人知的工作。可问题是:Wei Zhang 到底是谁?为什么后来几乎没人提起?
我就从这一行 Wikipedia 开始往下挖。顺着论文、合作者、ResearchGate、芝加哥大学,再一路追到硅谷,最后真的联系上了张伟本人,并在圣何塞和他见了面。
这个过程中,我发现自己追出来的已经不只是一个“早期 CNN 先驱”的故事。它一路牵出了福岛邦彦的 Neocognitron、Rumelhart 和 McClelland 的反向传播、八十年代日本的光计算、芝加哥大学的医学影像 AI,以及后来真正进入医院的 R2 ImageChecker。
更有意思的是,张伟最初学的是光学,后来做神经网络、医学影像、硅谷创业,兜兜转转几十年,最后又回到了光学器件。
这期节目,就是从 Wikipedia 上一个名字出发,试着把这条几乎断掉的历史线重新接起来。
本期话题: Wei Zhang 与 SIANN|福岛邦彦与 Neocognitron|Rumelhart、McClelland 与反向传播|Yann LeCun 与 CNN 的平行发现|八十年代日本与光计算|芝加哥大学医学影像 CAD|R2 Technology 与 ImageChecker|FDA 与医保支付|科学史中的马太效应
特别鸣谢: 张伟接受采访并提供大量一手资料;Xun 为节目制作片头音乐;夏天和张伟试听本期节目,并提供了宝贵意见。
章节时间轴
* 00:11 片头与节目介绍
* 01:10 序:1991 年西雅图 IJCNN 与 Fukushima 的“行李箱”
* 02:26 节目缘起:为什么开始寻找张伟
* 04:17 关键发现:Wei Zhang 1988 年的 shift-invariant neural network
* 05:53 沿论文、ResearchGate 与芝加哥大学追踪张伟
* 08:37 两年后重新启动寻找
* 09:07 写信联系 Maryellen L. Giger
* 10:40 Giger 回信,并把邮件转给张伟本人
* 11:06 张伟回应:1994 年离开学术界进入硅谷
* 12:38 见面前补论文与履历
* 14:04 张伟的光学教育背景与中国现代光学史
* 16:01 大阪大学:市冈芳树实验室与光计算
* 17:05 80 年代日本泡沫经济与第五代计算机计划
* 18:17 福岛邦彦与 Neocognitron(新认知机)
* 19:29 Hubel–Wiesel、S-cell / C-cell 与视觉系统
* 24:42 PDP 与反向传播
* 28:39 SIANN:Neocognitron 结构 + Backpropagation
* 31:14 LeCun 的平行工作与 multiple discovery
* 32:49 引用差距与科学界的马太效应
* 33:13 SIANN 转向医学影像
* 33:53 早期显微图像分割与 U-Net 的时代对照
* 34:20 进入芝加哥大学医学影像 CAD 团队
* 35:13 后续工业界与光纤通信经历
* 41:14 北圣何塞星巴克:终于见到张伟
* 45:29 张伟解释:为什么删掉 Neocognitron 的横向连接
* 51:26 谈 Schmidhuber、学术认可与优先权
* 53:44 R2 Technology 的起点
* 55:13 ImageChecker M1000 与 FDA PMA
* 57:32 Medicare reimbursement:医学 AI 的商业闭环
* 59:22 “水利工程 / 水车”比喻
* 59:54 技术、FDA 与医保支付体系
Reference:
* 半拿铁《人工智能风云录》第一期: https://www.xiaoyuzhoufm.com/episode/63f74a9c79d1c9aec859dfce
* 张伟 SIANN / Applied Optics 论文: https://people.idsia.ch/~juergen/Zhang-April1989-AppliedOptics-SIANN.pdf
* LeCun 人手写邮编识别论文: https://ieeexplore.ieee.org/document/6795724
* Fukushima 福岛邦彦 Neocognitron 论文(1980): https://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf
* Hubel & Wiesel 猫视觉皮层经典论文: https://pubmed.ncbi.nlm.nih.gov/14449617/
* Jürgen Schmidhuber 关于卷积神经网络早期发明人的介绍: https://people.idsia.ch/~juergen/who-invented-convolutional-neural-networks.html
* 相关播客节目: https://www.xiaoyuzhoufm.com/episode/69457cfae0674912edd86097?s=eyJ1IjogIjY1YmQ5NDY0ZWRjZTY3MTA0YWRhYjJlZCJ9
* YouTube 上介绍张伟工作的影片: https://www.youtube.com/watch?v=PWZQ6UoxAW4&t=714s
* LeCun 的论文于 1989 年 7 月投稿、9 月接受、12 月发表,前后约 5 个月。
* 芝加哥大学时期,SIANN 主要用于对候选区域做分类和假阳性筛除;到了 R2 的商业系统,张伟将其改造成 CNN 全图扫描 + 传统算法二次过滤的混合架构。为适应 90 年代有限的算力,他还引入可分离卷积核,将 2D 卷积拆成两个 1D 卷积,大幅降低计算量。
* R2 的 ImageChecker 成为 FDA 批准的首个放射影像 AI 产品。到 2000 年代中期,每年已辅助数千万例读片,并形成数亿美元规模的保险支付。
------------------------------------------------------------------
我是在 Wikipedia 上查卷积神经网络历史的时候,第一次看到 Wei Zhang 这个名字的。
Wiki页面上写着:1988 年,他用反向传播训练了一个具有平移不变性的神经网络。时间甚至早于 LeCun 那篇后来广为人知的工作。可问题是:Wei Zhang 到底是谁?为什么后来几乎没人提起?
我就从这一行 Wikipedia 开始往下挖。顺着论文、合作者、ResearchGate、芝加哥大学,再一路追到硅谷,最后真的联系上了张伟本人,并在圣何塞和他见了面。
这个过程中,我发现自己追出来的已经不只是一个“早期 CNN 先驱”的故事。它一路牵出了福岛邦彦的 Neocognitron、Rumelhart 和 McClelland 的反向传播、八十年代日本的光计算、芝加哥大学的医学影像 AI,以及后来真正进入医院的 R2 ImageChecker。
更有意思的是,张伟最初学的是光学,后来做神经网络、医学影像、硅谷创业,兜兜转转几十年,最后又回到了光学器件。
这期节目,就是从 Wikipedia 上一个名字出发,试着把这条几乎断掉的历史线重新接起来。
本期话题: Wei Zhang 与 SIANN|福岛邦彦与 Neocognitron|Rumelhart、McClelland 与反向传播|Yann LeCun 与 CNN 的平行发现|八十年代日本与光计算|芝加哥大学医学影像 CAD|R2 Technology 与 ImageChecker|FDA 与医保支付|科学史中的马太效应
特别鸣谢: 张伟接受采访并提供大量一手资料;Xun 为节目制作片头音乐;夏天和张伟试听本期节目,并提供了宝贵意见。
章节时间轴
* 00:11 片头与节目介绍
* 01:10 序:1991 年西雅图 IJCNN 与 Fukushima 的“行李箱”
* 02:26 节目缘起:为什么开始寻找张伟
* 04:17 关键发现:Wei Zhang 1988 年的 shift-invariant neural network
* 05:53 沿论文、ResearchGate 与芝加哥大学追踪张伟
* 08:37 两年后重新启动寻找
* 09:07 写信联系 Maryellen L. Giger
* 10:40 Giger 回信,并把邮件转给张伟本人
* 11:06 张伟回应:1994 年离开学术界进入硅谷
* 12:38 见面前补论文与履历
* 14:04 张伟的光学教育背景与中国现代光学史
* 16:01 大阪大学:市冈芳树实验室与光计算
* 17:05 80 年代日本泡沫经济与第五代计算机计划
* 18:17 福岛邦彦与 Neocognitron(新认知机)
* 19:29 Hubel–Wiesel、S-cell / C-cell 与视觉系统
* 24:42 PDP 与反向传播
* 28:39 SIANN:Neocognitron 结构 + Backpropagation
* 31:14 LeCun 的平行工作与 multiple discovery
* 32:49 引用差距与科学界的马太效应
* 33:13 SIANN 转向医学影像
* 33:53 早期显微图像分割与 U-Net 的时代对照
* 34:20 进入芝加哥大学医学影像 CAD 团队
* 35:13 后续工业界与光纤通信经历
* 41:14 北圣何塞星巴克:终于见到张伟
* 45:29 张伟解释:为什么删掉 Neocognitron 的横向连接
* 51:26 谈 Schmidhuber、学术认可与优先权
* 53:44 R2 Technology 的起点
* 55:13 ImageChecker M1000 与 FDA PMA
* 57:32 Medicare reimbursement:医学 AI 的商业闭环
* 59:22 “水利工程 / 水车”比喻
* 59:54 技术、FDA 与医保支付体系
Reference:
* 半拿铁《人工智能风云录》第一期: https://www.xiaoyuzhoufm.com/episode/63f74a9c79d1c9aec859dfce
* 张伟 SIANN / Applied Optics 论文: https://people.idsia.ch/~juergen/Zhang-April1989-AppliedOptics-SIANN.pdf
* LeCun 人手写邮编识别论文: https://ieeexplore.ieee.org/document/6795724
* Fukushima 福岛邦彦 Neocognitron 论文(1980): https://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf
* Hubel & Wiesel 猫视觉皮层经典论文: https://pubmed.ncbi.nlm.nih.gov/14449617/
* Jürgen Schmidhuber 关于卷积神经网络早期发明人的介绍: https://people.idsia.ch/~juergen/who-invented-convolutional-neural-networks.html
* 相关播客节目: https://www.xiaoyuzhoufm.com/episode/69457cfae0674912edd86097?s=eyJ1IjogIjY1YmQ5NDY0ZWRjZTY3MTA0YWRhYjJlZCJ9
* YouTube 上介绍张伟工作的影片: https://www.youtube.com/watch?v=PWZQ6UoxAW4&t=714s
小宇宙热评
Ben42
3周前
广东
5
精彩!能找到Wei Zhang本人太好了
Dwight
3周前
上海
4
07:58 一看标题,就是https://www.xiaoyuzhoufm.com/episode/6208f3d686b4c5f6254d4b6e 姊妹篇。
HD388419y
2周前
广东
4
其实科学原理层面我没太听懂,想到最近好像又掀起了光子计算机的讨论,说下一代计算机或许会变成光子计算。不知道这两者是不是有些关联?如果是,那张伟、以及这期播客,我认为将是人类灭绝后会被硅基生物,尤其是三个机器人挖到后毒舌蛐蛐的一期经典内容了。(爱死机延伸一下,hhhhhh
rawCL
3周前
上海
2
当年张伟跟贝尔实验室相比,在神经网络学术圈也许就是 nobody,很难能被人看到。就像后面说到,一个产品的成功不仅仅是技术上的,反直觉的是,技术也许是一个非常小的部分。在学术圈的知名度、人脉、平台都很重要。听下来真的觉得是大大的遗憾和惋惜😮💨
小玉-二二得肆
3周前
江苏
2
1:08:29 我觉得不要害怕开始,因为其实你不开始永远不知道会怎么发展,所有的都只是你的想法,但想法其实并不会决定这件事会怎么样,不如行动起来,减少多想,也减少内耗
HDxiaoxiao
2周前
江西
2
标题好引人注目啊
HDxiaoxiao
2周前
江西
2
主播这种抽丝剥茧的能力也好厉害啊
你好小葵
2周前
浙江
2
分几次听完了!很精彩!虽然是干货,但并不枯燥啊,故事莫名挺感人的🥹
河边草_hzcn
2周前
上海
2
找到故事里的主人公让我尤其欢喜!完美的诠释一切!非常精彩有趣!爱听!期待下一期!!
xiaobin肖斌
3周前
山东
1
很有意思的故事,后面和zhang wei见面的内容很意外。
YOKI-PHY
3周前
河南
1
1:09:20 哈哈,闭环反馈控制也是以误差作为一个输入
王三和
3周前
广西
1
上哪找又爱重轻 又爱星际拓荒的人啊
KarenK
3周前
上海
1
06:31 有种在破案的感觉,代入感太强了
你好小葵
2周前
浙江
1
12:00 科研能转到应用太厉害了…
Raeiii
2周前
广东
1
21:11 在午休的时候 听到这样的内容 何尝不是对大脑的新一层过滤~ 关注节目了 之后会多听的🥳
KarenK
2周前
上海
1
1:07:57 我们很容易爱上潜能而害怕结果!Rum老师说得好啊!
徐霹雳
2周前
广东
1
真的好强,想问下是怎么深挖这种内容的呀,觉得很深入又很有趣,是平时对这些就很感兴趣吗🥹
徐霹雳
2周前
广东
1
1:00:49 啊我以为只有国内的学术是这样的,只是为了发表而发表,只为了完成作业,但实际研究的实用性不太行
JessicaCCH
2周前
广东
1
26:03 我理解的反向传播就是反向传递回去~
从零开始_wE0v
2周前
上海
1
张伟就是朗姆酒瓶找到的一席这样重这样轻的历史缝隙~