评分
暂无评分
0人评价
5星
0%
4星
0%
3星
0%
2星
0%
1星
0%
AI智能总结...
AI/summary > _
AI 正在思考中...
本集内容尚未生成 AI 总结
简介...
https://xiaoyuzhoufm.com

本期节目我们将盘点「Transformer 论文八子」从谷歌离职后都创立了什么公司,在哪些 AI 领域持续研究和创新,和大家一起尝试从这几家公司里窥见生成式 AI 时代的未来格局。

在过去的英伟达 GTC 大会上,创始人黄仁勋和「Transformer 八子」的对谈无疑是最受关注的论坛之一。就职于谷歌的八位研究员于 2017 年共同发表了论文《Attention is all you need》,提出自然语言处理的新架构 Transformer 模型,开启了人工智能的新时代。然而论文发表后,八位作者除了一位加入了 OpenAI 之外,都陆续离开了谷歌,创立了自己的 AI 公司。

他们的「出走」经历像极了 1950 年代「仙童八叛逆」离开肖克利半导体实验室(Shockley Semiconductor Laboratory),先后创立仙童半导体(Fairchild Semiconductor)、芯片公司英特尔、National Semiconductor,也有硅谷最早的风险投资公司凯鹏华盈。他们改变了半导体行业,让硅谷成为了硅谷。

这期节目也是爆肝写脚本的一次 solo 单口尝试,希望大家喜欢。

本期人物
丁教 Diane,「声动活泼」联合创始人、「科技早知道」主播

主要话题
[01:55]「Transformer 八子」和历史上开创硅谷的「仙童八叛逆」真的很像
[05:51] Transformer 模型是注意力机制优化与前馈神经网络相结合的产物
[07:27] 谷歌宽松的人才氛围促成「Transformer 八子」合作发表论文《Attention is all you need》
[09:53] 2017 年 Illia Polosukhin 创立 NEAR Protocol,实现区块链领域加密货币的创新
[12:18] 2019 年 Aiden Gomez 创立 Cohere,专注为企业部署定制化本地 AI 服务
[14:38] Cohere 推出检索增强生成技术,服务包括 Notion 在内的多家企业
[17:25] 2021 年 Jakob Uszkoreit 创立 Inceptive,将 AI 与疫苗、药物研究相结合
[21:00] 2021 年 Noam Shazeer 创立 Character AI,主打虚拟角色 AI 陪伴式聊天
[21:51] Character AI 在 A16Z 发布的全球最受欢迎消费级 AI 产品榜单居第三,用户黏性及活跃度极高
[23:18] Character AI 上最受欢迎的虚拟角色是谁?
[26:46] 2023 年 Ashish Vaswani 和 Niki Parmar 创立 Essential AI,利用产品提升数据分析师的工作效率
[30:01] 2023 年 Llion Jones 在东京创立 Sakana AI,这是一家底层大模型公司
[31:06] Sakana AI 发布最新研究成果「模型合并」(Evolutionary Model Merge),为 AI 自动化设计开辟可能性

关联阅读

幕后制作
监制:丁教、Siti
后期:迪卡普里鑫、可特
运营:瑞涵
设计:饭团

商务合作
声动活泼商务合作咨询

支持我们,加入新一年的播客创新
2021 年我们发起了「声动胡同会员计划」,这是一个纯支持项目,支持「声动活泼」在播客内容上不断探索和创新。回顾 2023 年,得益于这些支持,「声动活泼」的每档节目都不断突破,不仅荣登苹果中国的年度热门节目榜单,还在 CPA 和喜马拉雅等平台都榜上有名。2024 年,我们也会继续创新,一档全新的投资类节目即将和大家见面,同时也会用更加创新的方式制作新一季「声音特稿」节目。
欢迎点击链接查看我们 2023 年收获和 2024 年内容计划。如果你认同或喜欢我们做的事情,也期待我们不断尝试并产生好内容,欢迎付费支持。
胡同

加入我们
声动活泼正在招聘全职「节目监制」、「节目营销」、「商业化项目管理」,查看详细讯息请 点击链接。如果你已准备好简历,欢迎发送至 [email protected], 标题请用:姓名+岗位名称。

关于声动活泼
「用声音碰撞世界」,声动活泼致力于为人们提供源源不断的思考养料。
我们还有这些播客:声动早咖啡声东击西吃喝玩乐了不起反潮流俱乐部泡腾 VC商业WHY酱跳进兔子洞
欢迎在即刻、微博等社交媒体上与我们互动,搜索 声动活泼 即可找到我们。
期待你给我们写邮件,邮箱地址是:[email protected]
声小音

欢迎扫码添加声小音,在节目之外和我们保持联系。

主播...
声动活泼的声小音
丁教Diane
评价...

空空如也

小宇宙热门评论...
Reiz
11个月前 辽宁
0
谢谢分享!调研这些工作量很大,必须留下评论支持❤️
L_UOzM
11个月前 未知
0
很棒
王小C
11个月前 浙江
0
33:32 鱼这一段真的很迷 这描述的不就是一个OR背景的人来做神经网络的超参优化的思路,感觉这是5,6年前的东西了呀
AyuanYang
1年前 北京
0
icpc
dddd0401
1年前 广东
0
23:38 哈哈哈哈哈,又一款有世界影响力的中国 IP 原神
顺其自然_6grc
1年前 新疆
1
👍🏻
榛橡
1年前 江苏
1
05:49 Google的胸怀👍
HD1029846n
1年前 四川
2
最后一首歌惊艳了!
gpCigqFeC52
1年前 辽宁
2
牛逼
Hy-fung
1年前 广东
2
05:59 最近在看2024GTC 八位论文作者的会谈。这期节目科普了很多!很有帮助!
Ming_Stacey
1年前 美国
3
rna预测比蛋白质难很多。除了数据量少,它的基本“预测逻辑”也是不一样的。不非常严谨的比喻,蛋白质从序列到二级结构,到三级结构,可以大致“线性”逐级推倒。比如序列80%相似,三级结构也大概率相似。但是RNA却不是,无法“线性”预测推到,每一层都千变万化。序列不同,但是三级结构也许还有点相似。
十雾
1年前 广东
3
难得见有搞遗传算法相关的
是迦棋呀
1年前 北京
3
耶伊~~今晚出行路上有听的节目啦!
AI-Nate
1年前 美国
4
28:23 第二名还是原神的人物:八重神子。二次元改变世界!😂 Character AI刚出来的时候,硅谷传过一个数据表格,记录了所有人物点击数据。不过也是半年前的事了。
S_Heyeah
1年前 广东
5
32:50 好棒,把进化算法用通俗易懂的语言解释了,开篇一些神经网络相关的刚好复习这学期学过的知识了
alfredhh
1年前 北京
6
34:41 最后这个歌是真好听啊
Ssssss_JTka
1年前 澳大利亚
7
35:2634:50 这首歌相当不错哦,厉害👍
特务头子_Molly
1年前 上海
9
23:26 雷电将军哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈
Dicaprixin
1年前 北京
14
分享几个轶事 1“八叛逆”的1美元钞票:在仙童半导体成立之初,由于缺乏正式的协议,创始人们在一张1美元钞票上签名作为临时协议,这张钞票后来成为了硅谷历史的一部分,象征着风险投资和创业精神的开始。 2随着2023年3月24日戈登·摩尔的去世 ,“八叛逆”们都已经遗憾的不在人世. 3 Transformer 8之一,LLION JONES回忆道, 将披头士乐队的歌曲用于论文 “实际上只花了五秒钟的时间思考。我没想到他们会使用它。The Beatles, Jones recalled, had named a song “All You Need Is Love.” Why not call the paper “Attention Is All You Need”?
LBeP
1年前 广东
15
06:18 捉个虫。RNN一般翻译成循环神经网络比较好,“R” for recurrent。有另一个东西叫递归(Recursive)神经网络,一般不简写成RNN,这个递归神经网络影响也没有RNN那么广泛。
EarsOnMe

加入我们的 Discord

与播客爱好者一起交流

立即加入

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧