Stella和Amy现在持续在Maven平台分享AI Evals and Analytics 的相关讲座和课程。欢迎有兴趣的听众朋友们关注。 免费讲座（若错过可在 https://ai-evals.org/ 观看回放）： 11月20日: How to Drive AI Evals Adoption （如何在企业推行AI评测）by Dr Sebastian Fox (CEO & Co-founder at Composo.ai) 12月1日: Choose the Right AI Evals Vendor (如何选择AI评测厂商) by Amy Chen >>> 连结: https://ai-evals.org/ 你有没有想过，当你每天使用的AI产品出了问题，到底是谁的责任？当ChatGPT给出错误答案、当AI助手突然变得不安全、当公司投入巨资的AI项目最终失败——这些问题的根源往往在于缺乏有效的评测机制。 这一期是Stella和Amy的特别坦白局，分享她们最近「人设崩塌」开始在Maven教AI评测（AI Evals）的始末。Stella在AI Evals领域已深耕两年多，从OpenAI推出ChatGPT开始就在做相关工作。她用实际案例，包括Character AI和OpenAI产品导致的青少年自杀事件、Claude Code功能推出后的用户流失，说明为什么AI评测不只是技术问题，更关乎产品安全、公司存亡，甚至人命。 从技术讨论到产业观察，两人不留情面地评论当前AI评测市场的乱象。她们直言OpenAI等大厂对安全性评估的「做做样子」态度，质疑市面上很多Evals工具只是「安慰剂」，并分享自己对主流AI Evals方法的不同意见。 这期节目还触及AI产业更深层的问题：AI泡沫到底是什么？当Amazon因「相信AI会提高生产力」而裁员，当Arizona的数据中心和居民抢水抢电，当OpenAI的CFO公开表示如果失败联邦政府应该救援，我们正在见证的是AI for Human还是Human for AI？ 00:00:00 - 节目高光 00:05:21 - 为何决定投身AI评测 00:10:17 - 用户对AI产品零忠诚度的现实 00:16:02 - 安全性危机：AI产品导致的真实伤害案例 00:21:37 - AI Evals是数据科学家的新机会 00:28:05 - 课程经验：第一届学生的反馈 00:36:25 - AI Literacy教育：给孩子的新计划 00:44:05 - AI拟人化的危险与教育的重要性 00:50:02 - AI Bubble真相：投资与价值的巨大落差 00:54:19 - 数据中心vs.居民：抢电抢水抢资源 01:00:32 - 未来计划与讲座预告 「StellaxAmy‧自定义」播客 每期邀请一位朋友，讲述中文世界故事、华人故事。和我们一起倾听自定义人生。 如果你喜欢本节目或希望与我们合作，Stella和Amy现已开通Buy Me a Coffee会员支持：https://buymeacoffee.com/stellaxamy 收听更多精彩内容 → https://linktr.ee/stellaxamy

� Stella和Amy现在持续在Maven平台分享AI Evals and Analytics 的相关讲座和课程。欢迎有兴趣的听众朋友们关注。 >>> 连结: https://maven.com/ai-evals-and-analytics 你有想过降薪30%去换一份更有意义的工作吗？本期节目邀请到住在科罗拉多的数据科学家Rachel，她曾在电信公司做CDN优化、铜线与光纤网络效能分析等项目，但最终选择跳槽到州政府的保险监管部门，用数据保护消费者权益。 Rachel坦诚分享了在电信公司工作时遇到的挑战：数据科学团队开发的工具虽然技术上可行，但因为与前线运营人员的KPI考核体系脱节，导致项目难以落地。她也谈到私企中常见的问题：当你的项目不是由真正需要它的人提出时，推行阻力会有多大。这些经验让她开始思考，什么样的工作才能真正带来成就感。 在政府部门工作四个月后，Rachel发现这里的文化完全不同，和同事带着「公仆」的使命感在服务大众。监管保险公司的定价、审查费率调整、用数据分析医疗保险诈骗——这些工作直接影响着普通消费者的权益。虽然薪资降低了，但工作生活平衡改善、不再需要深夜加班，而且能建立长期的专业人脉网络。 Rachel也分享了她在科罗拉多丹佛的生活体验。 00:00:00 - 开场与Rachel背景介绍：从电信业到政府监管 00:05:25 - 电信公司的数据科学工作：CDN优化与网络效能分析 00:12:02 - 项目落地的困境：数据方案与运营现实的脱节 00:18:19 - 转职到政府部门：监管保险公司、保护消费者 00:27:03 - 数据科学在保险监管的应用：精算审查与诈骗侦测 00:34:20 - 如何找到政府工作？ 00:46:41 - 高薪背后的代价与转职的心路历程 00:55:06 - 医疗保险监管的复杂性与挑战 01:01:53 - 公部门工作四个月的真实感受 01:10:21 - 科州生活：生活与工作的平衡 「StellaxAmy‧自定义」播客 每期邀请一位朋友，讲述中文世界故事、华人故事。和我们一起倾听自定义人生。 如果你喜欢本节目或希望与我们合作，Stella和Amy现已开通Buy Me a Coffee会员支持：https://buymeacoffee.com/stellaxamy 收听更多精彩内容 → https://linktr.ee/stellaxamy

Stella和Amy将在Maven有一场免费的 AI Evaluation and Analytics Playbook (美西10/14 9am)的分享，时长30分钟，欢迎大家来报名参加。不在北美的朋友也别担心,先Sign Up就可以看到回放 Lightning Lesson。 >>> 报名链接: https://maven.com/p/8430db/build-your-ai-evals-analytics-playbook 这次免费的分享是我们在Maven平台上的课程 AI Evals and Analytics Playbook的一次暖场，在本期节目中，我们也和嘉宾课代表探讨了AI Evals的现状和挑战。 当课代表在9月2日早上发出离职明星实验新创Statsig的告别文后，仅仅15分钟，OpenAI宣布收购Statsig的新闻就炸开了。这个"完美"的timing背后，这个戏剧性的故事引发了这集节目。 Stella、Amy、课代表都以 data science 为起点，却走上不同道路。这场对话从三个维度展开： Startup 的真相 Stella 和 Amy 都经历过 IPO，却没有人「财富自由」；课代表则在明星新创担任 evangelist，分享了在这个职位面临的种种挑战。三人揭开创业公司神话——B 轮后成功率仅 1%，收购对员工的权益、员工股权被稀释。在现在的环境下，究竟加入 startup 还是不是一个好选择？ AI Evals 怎么做？ 我们三人也聊了对AI Evals的看法。Stella 研究 AI Evals 已两年，她观察到 tech 圈内几乎预设「LLM-as-a-judge」是正解，课代表直言，这是唯一能落地的方式，但不一定是对的方式；那到底AI Evals 应该怎么做？如何从「从产品出发」做Evals？与 data science、product analytics 共通核心是什么？ Data Science 的未来 当 AI 工具重塑产业边界，data scientist 下一步应该走向何方？我们又有什么观察和预测？ 最后，课代表也分享他从大厂和新创公司离开，一路降薪但坚持 mission-driven 的心路历程。现在经营AI builder community和课程的课代表，给了即将在Maven教授 AI Evals and Analytics Playbook 的Stella和Amy许多鼓励和建议。 Stella 和 Amy 也将推出课程 AI Evals and Analytics Playbook，并于 10 月 14 日举办 30 分钟免费 Lightning Lesson，带大家重新思考如何设计评估策略。(>>> 报名链接: https://maven.com/p/8430db/build-your-ai-evals-analytics-playbook ) 00:00:00 - AI Evals 免费讲座(美西10/14 9am) 00:00:57 - 节目高光、欢迎课代表 00:06:55 - Statsig被收购前15分钟离职的故事 00:09:37 - Startup真相：B轮后1%成功率，三人的startup经历 00:17:21 - 如何谈判薪资和股权？ 00:21:03 - 为什么离开大厂？ 00:25:37 - Evangelist角色困境：个人品牌vs公司品牌 00:36:37 - Mission driven也能赚钱？ 00:41:52 - 课代表的内容创作历程 00:44:40 - AI Evals讨论：为什么LLM-as-a-judge很危险？ 00:50:36 - AI Evals 正确做法：从产品出发 00:56:07 - Statsig的AI Evals产品与OpenAI收购的关系 01:02:03 - Data science未来 01:07:12 - Harder things ≠ more valuable 01:15:06 - AI Builders 社群 01:17:26 - Stella和Amy的AI Evals and Analytics 讲座和课程 「StellaxAmy‧自定义」播客 每期邀请一位朋友，讲述中文世界故事、华人故事。和我们一起倾听自定义人生。 如果你喜欢本节目或希望与我们合作，Stella和Amy现已开通Buy Me a Coffee会员支持：https://buymeacoffee.com/stellaxamy 收听更多精彩内容 → https://linktr.ee/stellaxamy

当大多数人对阿富汗的印象还停留在战争、贫穷和恐怖主义时，有一个中国人已经在那里生活了两年，成为走遍阿富汗最多地区的中国人。 本期节目邀请到正在阿富汗重新定义人生的汗青（汗青@xhs），一位因人生低谷而踏上中东旅程的摄影师，原本只是想路过散心，却被这个战后重建中的国家深深吸引。汗青以第一人称视角，为我们揭开了塔利班统治下阿富汗的真实面貌：从相对清廉但争议重重的政府治理，到90%中国人都在从事的淘金业；从城市里正常工作生活的民众，到瓦罕走廊极度贫困的游牧民族。 节目中，汗青特别分享了让他“心被撕裂无数次”的儿童故事——那些在街头乞讨、擦鞋谋生的小孩，以及瓦罕走廊里连基本医疗和教育都缺乏的孩子们。他也谈到了阿富汗女性的真实生活状态，以及不同地区间巨大的文化差异。 这不是一个遥远国家的猎奇故事，而是一个中国人用两年时光深度观察一个国家的真诚记录。如果这期节目让你有所感动，欢迎通过小红书联系汗青(@汗青)，一起为那些需要帮助的孩子们做点什么。 00:00:48 开场介绍与节目背景 00:02:33 汗青的阿富汗之旅 00:07:07 在阿富汗的做旅游业 00:12:27 阿富汗安全状况与中国人群体 00:18:16 塔利班政府与民族关系分析 00:24:18 塔利班治理成效 00:30:18 女孩教育问题 00:34:54 阿富汗社会生活水平与阶层 00:37:03 女性权利与教育限制的历史背景 00:45:01 女性地位：传统分工vs现代平权观念 00:51:53 战争创伤与民众的适应心理 00:55:09 瓦罕走廊：极度贫困的原始生活 01:04:01 汗青的使命感与人道主义行动 「StellaxAmy‧自定义」播客 每期邀请一位朋友，讲述中文世界故事、华人故事。和我们一起倾听自定义人生。 如果你喜欢本节目或希望与我们合作，Stella和Amy现已开通Buy Me a Coffee会员支持：https://buymeacoffee.com/stellaxamy 收听更多精彩内容 → https://linktr.ee/stellaxamy