ep120 第一顶流DeepSeek,到底牛逼在哪里?

朝十晚久

DeepSeek已经炸了,已经破圈了。本期节目,我们尝试挑战一下用大白话讲述一下DeepSeek模型背后的真实。DeepSeek V3 进化 DeepSeek R1-Zero 进化 DeepSeek R1 ! 幻方到底做了哪些技术创新和奇技淫巧,让DeepSeek突然爆发成为全球顶流?所谓的“多快好省”体现在具体什么地方? 如果你不想再人云亦云地复读DeepSeek模型花钱少,那么听一听本期节目包收获的。 主播:松阴 节目开始前,请大家加入听友群(加群方法见播客介绍页),以及帮忙多多转发! 01:47 当我们谈论DeepSeek,我们到底在谈论什么模型? 04:46 DeepSeek的训练成本500万美元?! 08:59 美国业界在V3刚出的时候就注意到了 09:40 MoE 混合专家模型 11:50 门控网络:混合专家模型里的“分检” 16:23 多头潜在注意力 MLA 18:36 FP8的大模型实现 22:08 DeepSeek到底有1万张A100显卡吗? 26:00 R1-Zero的Zero来自于Alpha-Zero 27:00 强化学习 vs 监督学习 30:04 GRPO(Group Robust Preference Optimization ) vs PPO(Proximal Policy Optimization) 32:33 训练模板 34:40 R1-Zero的缺点 36:01 训练一个R1模型 38:30 R1训练的第二阶段 40:39 用R1蒸馏小模型 42:18 什么是“知识蒸馏”呢?软标签/硬标签/温度 45:08 蒸馏 vs 强化学习 48:33 吐槽一下:稳定性 and 黑话太多 ----------------分割线------------ 阅读材料 V3的训练成本比较 强化学习中的GRPO和PPO R1-Zero的训练模版 R1的二阶段训练总过程 https://arxiv.org/abs/2501.12948 DeepSeek R1 是怎么训练出来的?- R1 论文精读 万字赏析DeepSeek创造之美:DeepSeek R1 是怎样炼成的? 一文看懂MoE混合专家大模型

53分钟
99+
8个月前

ep116 朝十晚久的2024!虽然痛苦,但我们仍在坚持!

朝十晚久

本档播客2024年的私人总结。关于“朝十晚久”;关于做播客这件事;关于播客之外的人生。 今年是朝十晚久的第三年了,也是我们坚持播客这件事的第三年。虽然数据上比之前好看了不少,也有几期“小爆”的节目,但是依旧感觉是没找到做自媒体的节奏。我们也总结了最近节目的一些问题,和我们考虑的应对方法,以及明年的一些设想。坚持不易,但我们仍旧在这! 最后也感谢大家在2024年里对我们节目的支持和陪伴!大家的收听和留言评论,是我们做下去的最大动力! 主播:松阴 节目开始前,请大家加入听友群(加群方法见播客介绍页),以及帮忙多多转发! 01:26 朝十晚久在2024年的整体数据表现 03:39 推荐异地远程录音的工具:riverside 支持分音轨录制 07:14 “说话好听”是一种天赋 08:55 硬核干货的节目需要准备很久 14:35 用户画像:听播客总要学点什么 17:18 做播客三年了赚到钱了吗? 21:30 把节目拆分成N个更细分更垂直的播客? 24:22 多找嘉宾多找互动? 28:12 老板的告诫:“最好不要做技术” 28:49 大厂的35岁为什么是一道坎? 33:15 不做技术做什么?管理经营 和 行业经营 今年的总结 黑色幽默:最受欢迎的节目反而和“朝十晚久”没有关系= =

39分钟
99+
10个月前

ep115 播客已死?当我花了5分钟用AI无脑生成播客之后

朝十晚久

我们替大家体验了下如何用AI来帮忙水播客内容...... NotebookLM真的恐怖如斯,瞬间理解总结了喂进去的所有文本/视频/音频素材,只用几分钟就生成一段听起来“毫无问题”的播客。并且听上去就像一个日常的对话播客。关键是还没花钱,纯免费。 不过NotebookLM只能说英文,不中!我们再搭配以通义听悟和PodLM,再来说一段中文的AI播客。 大家可以好好感受下目前业界的AI生成播客工具已经到达了什么样的程度?你相信AI会取代人工播客吗? 主播:松阴、NotebookLM、PodLM 节目开始前,请大家加入听友群(加群方法见播客介绍页),以及帮忙多多转发! 00:29 NotebookLM生成播客初体验 01:58 通义听悟 + PodLM 生成中文播客 05:11 AI生成的中文版播客(AI伦理和安全) 10:34 NotebookLM生成的原版英文播客 关于AI生成的播客内容: * AI伦理方面的一些问题和挑战 * IBM,微软,谷歌等公司在AI伦理上的一些进展 关于生成播客使用的数据来源: youtu.be www.zhihu.com www.tisi.org zhuanlan.zhihu.com 这些材料探讨了人工智能伦理和安全的多个方面。第一个来源质疑人工智能是否能够拥有伦理,并认为其本质上会破坏人类伦理规范。第二个来源关注人工智能安全领域,特别是对抗样本的就业前景。第三个来源分析了微软、谷歌、IBM和Twitter等公司在人工智能伦理实践方面的策略和措施,包括伦理原则、治理机构、技术解决方案和行动指南。第四个来源则集中探讨人工智能的可解释性及其与安全性的关系,强调理解人工智能决策过程的重要性。 Notebook方便的UI 支持多达50个不同格式的数据(我们本期节目中的那段内容只用了差不多4个...)

22分钟
99+
10个月前

ep114 屠龙少年终成龙?OpenAI发家史

朝十晚久

填坑了。OpenAI几乎就是最近几年最火的科技公司,但是有多少人知道OpenAI创立初衷是不盈利的非商业组织。从硅谷大佬们的理想主义,到如今大肆商业化,OpenAI到底经过了什么样的发展历程?Elon Musk为何中途退出?Sam Altman又是如何力挽狂澜的同时遭千夫所指的?OpenAI最近的宫斗剧又是缘起何处? 且听本期节目慢慢道来。 主播:曹老师 节目开始前,请大家加入听友群(加群方法见播客介绍页),以及帮忙多多转发! 01:03 缘起:2014年,Google收购DeepMind 01:52 AlphaGo彻底改变了围棋 05:06 硅谷大佬们不希望AI完全掌握在Google手里 06:47 OpenAI的初衷:非盈利不受商业干扰的人工智能研究组织 07:32 初创团队 08:50 一开始OpenAI怎么招人的? 13:57 招人难?反向操作 17:22 OpenAI一开始运营得很困难 19:30 马斯克:把钱给我,我不干了 22:36 转折点:Sam Altman接手OpenAI,创立了商业化主体 24:11 OpenAI的公司架构非常非常复杂 28:27 Satya说服了比尔盖茨,微软的关键注资 35:53 LLM时代到了 38:02 商业化:开放ChatGPT的api和退出付费版本 38:58 开源 vs. 不开源 41:08 初心变了,内斗来了 43:31 诺奖得主Geoffrey Hinton对于自己的学生Ilya开除了Sam Altman感到非常骄傲 44:41 进入核心权力层的马斯克之后会如何影响OpenAI OpenAI初创团队 GPT模型发展史 Jeffery Hinton对Sam Altman的评价: “很骄傲我的一位学生开除了他”

50分钟
99+
11个月前

ep113 懂王赢了,我赚钱了?

朝十晚久

久违的聚齐四人的录音。本期分为两部分:关于美国大选结果的闲聊,最近的投资理财复盘。 美国大选,懂王Trump以绝对优势碾压,有什么值得关注的地方吗? * 国内和美国一般老百姓对Trump和Harris的看法 * 美国的城乡对立太严重了:几乎所有大城市都是蓝的,共和党“农村包围城市”的胜利 * 民主党精英的傲慢,不接地气太久了 由美国大选谈到美股和其他的投资理财: * 懂王上任后的经济策略是啥? * 美国通胀能解决吗? * 美股、美债还能买吗? * 比特币 * A股、保险、及时行乐 顺便call back几期之前的节目: ep110 锐评美国!在美程序猿的美国大选观察! ep107 延迟退休?对不起,我选择提前退休! ep14 别币币了!速来区块链入门扫盲 主播:松阴、曹老师、阿汤、Yuki 节目开始前,请大家加入听友群(加群方法见播客介绍页),以及帮忙多多转发! 02:34 为什么感觉国内大部分人都支持特朗普 07:00 曹老师在美国的观察:主流媒体当天的打脸现场 12:30 提前清仓了美股,亏了 15:24 “只有米歇尔奥巴马才可能赢特朗普” 17:20 关键的拉丁裔投特朗普居多,民主党的策略大错特错 19:12 美国城乡二元对立非常严重 22:06 JD万斯,错怪你了 25:14 特朗普三权在手,天下我有 27:26 民主党有点脱离群众了 29:59 特朗普大概率也解决不了通胀 25:22 “利好美股” 36:19 夏天买的美股和美债,还没解套 38:57 比特币的历史最高点 41:00 虚拟货币,不操作就最好了 44:50 A股和信托类产品 49:14 今年国内保险卖的特别好 52:13 理财投资性质的保险 58:29 可以买国内的美股ETF (QDII) 1:02:40 美国人一般都买什么基金 1:06:20 面对通胀,及时行乐就行了

72分钟
99+
11个月前
EarsOnMe

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧