时长：
102分钟
播放：
1.62万
发布：
2年前
主播...
简介...
chatGPT问题持续火暴！衍生出大量讨论，并突然让AICG行业爆火，但chatGPT到底能做到什么？在自然语言处理领域，它的能力是无限增长的吗？我们是否在见证人造智慧的崛起？我们这次深入chatGPT的运作原理，了解它与人的差异。
内容包括：
- 11:30 chatGPT到底是什么？纯能指接下岔程序
- 29:58 从语词到数字，chatGPT如何编织能指
- 01:08:28 long-tailness of every important things
- 01:30:52 到底谁会被替代？社会的塔勒布化
希望今天的内容能够对你有所启发。
[ 欢迎在Patreon和爱发电支持翻转电台 ]
如果你过去有在Patreon支持其他项目的经验，优先推荐使用Patreon，因为其有按月订阅的制度：
https://www.patreon.com/flipradio
如果你从来没有在Patreon支持其他项目的经验，可以在爱发电： https://afdian.net/@flipradio
感谢大家对翻转电台的支持。大家要记得敢于去相信。并敢于分享你的相信。
评价...
空空如也
小宇宙热门评论...
一只老男人
2年前
浙江
34
我斗胆预言一下：未来的互联网将因为充斥着由ai制造的文字和图像垃圾，而变得越来越没有价值
nowlistenwat
2年前
辽宁
14
1:17:54 咳咳暗示得太明显了…小李老师
pekingcat
2年前
上海
14
补充一句关于词汇分布的generality问题，针对每一个词汇，横轴是词汇分布远近，左边是最近，右边是最远，纵轴是词汇数量。那么最终呈现是正态分布的，最近的大概是is was do don’t 这些词，最远是语料中最少出现的。在这个正态分布中，根据attention和算法机制，机器最容易接下岔的是正态分布峰值的词汇，左侧是被attention机制排除的，右侧是被函数排除的。对于一个词如此，多个词语的分布关系就更是如此，但重要的“long-tailness”都分布在最右侧，就是看似长尾，其实肥尾的部分
nowlistenwat
2年前
辽宁
12
1:39:51
是不是最好一期，唔，出于鼓励主播，那么当然是！哈哈哈。
但你这节目也是整体的而非单点的，就像前面举的阅读长篇小说例子那样：读得越多，越能形成更充分的思考素材。贵电台也是这样的
ptdy
2年前
美国
9
不能完全同意这一期的观点。
我们当然可以说chatgpt只是掌握了能指的空间关系，但是这不构成chatgpt没有什么“理解语境”，“举例子”的能力的理由。我的意思不是说现在chatgpt在举例子、理解语境这些任务上做的多好，而是说，在现在的设定下这根本不是一个合理的需求。为什么这么说呢？因为一个不对现实世界产生物理影响的LLM根本就不可能产生”所指“，其本来就是运行在能指空间里。
反过来说，如果此类LLM能直接作用于现实世界，那所指也根本不需要他来理解，他就是会自动产生，其动作的效应和其文本的关系自动构成能指所指关系。所谓的语境理解能力差，也是因为模型目前根本没有和对话者处于一个语境里，这个人绝对不会理解。这正如语言是一个游戏，不是玩家的当然无法掌握游戏，而反过来说，只要亲自下场，任何实体都可以变成玩家。
翻转电台喜欢举例子，那么我们就举一点例子。就改造苹果的例子好了。如果我对一个刚刚从1950年穿越过来的人说，我们去搞点苹果吧，这个人不可能以为我要去买个iPhone或者Mac，哪怕我就是在去apple store的路上和他说这个话。这能说明这个1950年的人不能理解语境吗？不能。因为他之前根本没有和我一起浸泡在同一个现实里，而是被半路扔进来的。
那这说明什么？这只能说明基于语料库的训练方式无法覆盖各种subtle的语境。存在两个途径解决这个问题：一是用更加细致的domain specific 的语料库，这是一条没有止境的路；二是直接让chatgpt成为embodied agent，参与到我们的现实世界中，这样其自身就成为了语境的一部分。不难想象，后者甚至会改变我们的能指，让新的语言成为人和机器共同适应的结果。
Yelic
2年前
广东
6
12:05 中李老师输入"白日"后面出现的居然不是"焰火"😁
Thanatoskaras
2年前
山东
4
特德·姜：ChatGPT是网上所有文本的模糊图像
https://m.thepaper.cn/newsDetail_forward_21877769
HD607256z
2年前
江苏
3
很不错的分析，补充几点：
1. OpenAI并没有宣称chatGPT是通用人工智能，很明确它的定位就是chat bot，你指出的问题研发人员也是了然于胸的。
2. 关于长尾问题，其实这方面也是有一些探索的，比如meta的toolformer，就是训练AI做细分工作。
3. 小李老师的提出的几个点无法说明通用人工智能不可能，因为人也有可能就是一个超复杂接下茬机器，i.e., 自由意志不存在。如果未来的AI引入视觉、听觉感觉数据，他就有可能更好地理解context，毕竟所有context都可以被编码成数据。这是难以想象的运算，及其恐怖的训练时间，不过转念一想，人类也要训练十几年才能达到「基本可用」的状态。PS. 个人并不相信强人工智能可能。
4. 人工智能聊得更深肯定是要涉及宗教话题的，只不过国内环境不允许，不展开了。
极客天地
2年前
江苏
3
1:07:17 学好英语几乎是底层民众为数不多的翻身机会，别tm大笨蛋都被带了节奏，最先进的技术都是英文文本撰写的
laag
2年前
北京
3
中李老师的分析似乎是在假设ChatGPT是纯能指程序的基础上去解释ChatGPT的failure cases，但没有实质性的证据去证明ChatGPT的确是纯能指。当然说实话这样的证据即使有我目前也还想不到会长什么样，毕竟对我们来说神经网络以及Transformer还是一个大黑箱（节目里说attention机制之后才是黑箱，但我作为计算机视觉领域的博士生认为我们对attention也远远达不到理解，节目里对其的解释应该也不准确甚至not even wrong，不过这可能不那么重要），同时人类对自然语言的误解更是一种常态（只是错误方式可能有很大不同）。所以我也没有什么定论，只是考虑到transformer在视觉领域也具有极强的泛化性能，在我想象中它也许是能够在大量学习中涌现出一些对世界中真实概念的理解的。
HD234779z
2年前
浙江
1
41:49 如果是一个字/词组合 这正确率也太高了
没法客观
2年前
江苏
1
11:18 正文开始
浅野深史
2年前
中国香港
1
18:58 能指被语言囊括，能指和意指可以同时被多模态囊括，多模态也是大家所认可的的下一步AI/ChatGPT的发展方向
HD595208y
2年前
北京
1
52:26 完了 我听完也觉得是在表达开心……
uminh
2年前
上海
1
蛮有意思的，小李老师的模式和ChatGPT给我的感觉是类似的。用毋庸置疑的语气使用大量的专业术语完成了一个逻辑闭环。在小李老师的语境下，自己解释自己是通的。这个逻辑链断裂的可能性出现在技术问题上的所有细究。在努力权衡小李老师的内容和我在权衡GPT的内容一样难，比如原文出处的缺失还有像特德·姜说的解压缩方式，这样很难说服我GPT不像人这一点。
谛听无言
2年前
北京
1
AI只有到了创造阶段，那就是危险了
HD617622o
2年前
江苏
1
16:00 能指 意指
三套陈
2年前
浙江
0
后续长尾都是可以用专业包加载的方式解决，需要什么加载什么，程序化加上一点专业决策学习即可
雷蒙德
2年前
上海
0
1:02:26 如果说语言词汇越多人越容易理解，而ai程序更不容易理解，有没有可能是这个，如果用一种类比的话是，就像是一个小朋友，他还没有学会能够解读那么多的词汇和语言，当程序越来越发展，嗯，用技术的方法说，也许是它的内存越来越大，算力越来越强，之后它就会对越来越长的语句有更好的理解了呢
HD617622o
2年前
江苏
0
31:00 token
