StellaxAmy·自定义

当生成代码越来越容易，工程师要靠什么证明自己不可替代？ 这一期我们邀请到在 Stability AI 担任软件工程师的思思 Yisi Lu，聊她从 Bloomberg、Google 到 AI 创业公司的职业转向，也聊她身处 AI 行业一线，看到的真实变化。 Sisi 加入 Stability AI 时，这家公司刚经历管理层震荡，外界最常问的是：它还行不行？但身在其中，思思看到的却是另一个更现实的问题：在今天的 AI 行业里，光有模型已经不够了，真正难的是，怎么活下来，怎么商业化，怎么把技术变成有人买单的产品。这一期里，她分享了 Stability AI 如何从 research-driven lab 转向更重产品和商业的方向，也解释了为什么今天的小公司，已经很难再靠“做一个更强的通用模型”赢下比赛。 后半段，我们把话题转到每个工程师都会关心的问题：AI coding 已经把软件工程师的工作改成什么样了？在 AI-assisted coding interview 里，真正被考察的到底是什么？一个“很会用 AI”的候选人，为什么反而可能拿不到 offer？当生成代码越来越容易，真正稀缺的，也许不是执行力，而是判断力、ownership，以及对结果负责的能力。 这一期里我们一直在讨论的一个问题是：AI 和人类，到底谁在做真正的创意工作？当 AI 可以快速生成图片、视频、代码，甚至第一版草稿，人类到底是在创造，还是慢慢退回到审核、筛选和把关的位置？如果创意工作的入口正在变化，那什么才是人类最后不能放手的部分？也许不是产出本身，而是提出问题、做判断、承担责任，以及决定什么值得被做出来。 如果你正在做软件、关注 AI、考虑转向 AI 行业，或者只是隐约感觉到这套职业规则已经开始变化，这一期会很有共鸣。 本期提到的 Chase 的AI生成网站图片： [Major AI fail on the Chase Sapphire Preferred but no one ...] 时间线 00:02:07 嘉宾介绍：从 Bloomberg、Google 到 Stability AI 00:03:39 Stability AI 是一家什么样的公司：开源模型、平台和商业化转型 00:06:24 为什么在公司动荡之后，仍然选择加入 Stability AI 00:09:42 在 AI 公司做 applied engineering，具体是在做什么 00:13:01 小公司做通用模型为什么越来越难，image model 赛道现在怎么竞争 00:18:01 从大厂到 AI 创业公司，一年半后回看这个职业选择 00:20:08 AI 行业变化太快，公司和个人要怎么应对这种不确定性 00:24:29 Image generation、图片编辑、视频与影视特效，哪些方向更接近真实落地 00:30:47 谁来做“第一稿”：AI 负责生成，人负责判断，还是反过来？ 00:38:53 AI 已经如何进入软件工程师的日常工作流 00:44:23 AI coding 时代，工程师不能放弃的能力：ownership、review 和判断力 00:51:49 AI-assisted coding interview：什么样的候选人会脱颖而出 01:03:00 给 junior engineer 的建议：这是更难的一代，也是被 AI 赋能的一代 01:20:50 当效率越来越高之后，人怎么继续寻找意义感与快乐

最近 Stella 和 Google Staff Data Scientist, Eddie Landesberg,在 Vanishing Gradients Podcast 上的一次对话，围绕当下真实产品环境中的 AI evals（AI评估）展开。 在这期节目中，我们从实践出发，分享了为什么 AI evals 在产品中如此关键： 一方面，它是开发阶段的“指南针”，帮助团队不断迭代、建立有效的反馈闭环； 另一方面，它又是发布前的“关卡”，支持团队做出系统是否可以上线或进入实验阶段的决策。 我们讨论了： 1. 团队协同的 AI 评估（Team-Centric AI Evals） 如何让产品经理、数据科学家以及领域专家（SMEs）协同参与评估过程， 在“统一决策者”（benevolent dictator）或去中心化模式之间找到平衡， 从而构建更全面、更有效的评估体系。 2. 定制化评估指标（Custom Evaluation Metrics） 为什么不能只依赖工具厂商提供的通用指标， 而需要回到原始数据，识别具体的失败模式（failure modes）， 避免用“看起来不错”的指标掩盖真实问题。 3. AI评估作为“策略评估”（AI as Policy Evaluation） 将评估问题转化为因果推断问题： 评估不同“策略”（如prompt、模型）的反事实表现（counterfactual performance）， 并预测线上A/B实验的结果。 4. 明确产品边界与约束（Clear Product Constraints） 定义AI产品“不能做什么”往往比“能做什么”更重要： 通过严格的guardrails防止滥用、控制成本，并保护品牌。 5. 校准后的 LLM 评估器（Calibrated LLM Judges） 如何通过统计方法和因果推断，将 LLM-as-a-judge 与人类专家对齐， 确保评估结果能够真实反映用户价值和业务目标。 6. 数据直觉与好奇心（Essential Data Curiosity） 在依赖自动化分析或agent之前， 先通过人工查看数据建立直觉， 这是设计有效评估系统的基础能力。 7. 统计视角下的 AI 评估（Statistical AI Evaluation） 从“单元测试思维”转向“分布思维”： 利用置信区间（confidence intervals）和统计功效分析（power analysis）， 区分真实改进与统计噪声。 8. 前瞻性的合规设计（Proactive Regulatory Compliance） 在监管尚不明确的阶段， 提前建立严谨、可解释的内部评估标准， 为未来合规要求做好准备，并形成竞争优势。 9. 以人为中心的评估基准（Human-Centric Benchmarking） 将AI系统建立在人类判断与用户价值之上， 不仅仅依赖自动化分数， 而是构建真正有韧性、差异化的AI产品。

油价飙升，你庆幸自己开的是电动车吗？还是正在考虑买一台？本集我们邀请到 Pando Electric 创办人 Aaron，他对电车情有独钟，经历苹果、蔚来的电车项目，如今在创业，为美国小区和大楼的车子充电，从能源管理的角度，解决电车普及带来的基础设施缺口。 Aaron 是 Pando Electric 的共同创办人。北大物理系出身，博士毕业后进入苹果，从手表做到自动驾驶部门，再转战蔚来；走了一圈之后，他发现电动车这场革命里，最被低估的机会不在车本身，而在于电：如何储、如何分配、如何在不增加电网负担的前提下，让每一辆停着的电车都「有事可做」。Pando Electric 的核心概念，是把电车每天停着的那23小时变成能源调度的窗口。 本集我们深聊了美中电动车充电市场的结构差异、为什么超充其实并不环保也不经济、多户住宅（multi-family communities）的充电困境为何是美国最大的未解痛点，以及在政策不确定的当下，一家能源新创如何定义自己的节奏与边界。 对能源转型、电车产业、或者创业如何在混沌中找到正确的事持续做感兴趣吗？希望你喜欢这集的分享！ 00:00:00 高光、欢迎Aaron 00:01:48 电动车之路：从苹果、蔚来到创业的缘由 00:05:40 为什么选择能源切入，而非做自动驾驶 00:08:50 电车普及带来的能源缺口：KW 与 KWH 的根本挑战 00:17:19 终局愿景：电车作为能源水库 00:19:30 中美电动车市场三大结构性差异 00:25:51 为什么锁定多户住宅？美国充电困境的真实面貌 00:35:27 Pando Electric 的竞争优势 00:40:34 Pando Electric 三个产品方向：硬件、软体、分散式储能 00:49:02 创业的节奏：耐心是最大挑战 00:58:38 AI 时代能源缺口的机遇，以及 Pando Electric 的长远愿景 01:00:16 招聘与联络方式

Shawn的Ins: shawndoescomedy Shawn是一位活跃于多伦多的脱口秀演员，同时也是Hard Rock Digital的Analytics Team Lead (正在招人！）。本集他和Stella、Amy聊了从加拿大Tim Hortons等食品业跳槽到美国合法博彩产业的做数据分析的心路历程。如何找到自己在市场上的niche技能、博彩业和Data Science的意外契合，以及为什么「数据人的Dream Job可能不在大厂」。喜剧生涯和科技工作，究竟能不能共存？ Shawn同时身兼脱口秀演员和资深数据分析师两个身份。他靠听Dave Chappelle的单口喜剧自学英文、被朋友推上舞台开始了喜剧生涯；他也从食品业出发，靠着niche的数据分析特长敲开了博彩科技公司的门。本期节目，也为我们揭开了博彩行业的神秘面纱：它的市场规模、数据深度、监管逻辑、以及为什么Data在这里比很多传统行业更受重视。 00:00:00 节目高光｜欢迎Shawn 00:01:57 喜剧起点、靠Stand Up学英文、英文中文写段子的差异 00:09:01 Austin：喜剧圣城的真实气氛 00:11:26 北美 vs 中国喜剧产业生态比较 00:15:23 在食品行业做数据人？ 00:20:24 喜剧表演能提升沟通技巧吗？ 00:22:07 博彩产业三大分类介绍（Fantasy / Sportsbook / Online Casino） 00:25:46 三大市场规模比较‧各州合法化差异 00:30:57 博彩app 惊人的用户渗透率 00:33:36 博彩业利润 00:45:21 博彩业本质是设计体验，而不是odds 00:49:51 数据分析师的dream job 01:02:10 加拿大 vs 美国工作文化 01:05:54 如何分辨合法 vs 非法博彩公司 01:12:12 对大厂的祛魅 01:17:43 Starving Artist的迷思