加拿大AI创企Cohere是OpenAI的有力竞争对手,该公司联合创始人兼CEO Aidan Gomez曾在谷歌工作,是生成式人工智能开创性论文《Attention is All You Need》的合著者,近期他在接受20VC访谈时,提出了很多“反共识”的AI科研与创业发现,田老师第一时间独家分享给家人们。例如大模型研发中尺度定律不是唯一途径,商业上售卖API行不通等等,本期是“AI十问”的上集。
第一问,尺度定律是否是大模型的核心战略?有钱人喜欢投入更多算力和数据、模型变得更好的Scaling趋势,但这是效率很低的,我们能够通过算法、数据来做出性能更好的小模型,毕竟能买GPT-4大模型的企业很少,客户喜爱小型垂直模型。
第二问,大模型、小模型谁将主宰未来世界?水平大模型与垂直领域小模型将长期并存,长期历史上看,人们喜欢使用通用智能的模型做原型设计,而非在特定模型上做微调,研发人员首先抓住一个昂贵的大模型,证明能够完成某些任务,然后提炼为特定任务的高效精简小模型,所以未来是多种类模型并存的世界。
第三问,大模型价格战、开源战是否是零和博弈?只销售大模型的公司将会很困难,因为价格倾销下大模型是零利润,很多企业将AI服务赠送给用户免费使用,API服务模式很快会改变,而巨大的商业价值在芯片层以下、AI应用层以上,例如ChatGPT每月会员费20美元。
第四问,模型的进步是否超过了计算的进步?目前谷歌、英伟达是全体最大的两家AI芯片公司,很快会有其他芯片厂家迎来高销量,Cohere计算了算力成本,理性选择租用外部AI数据中心算力,这比自建数据中心更划算,Cohere聚焦在上层研发。
第五问,我们是否低估了人工智能进步的短期影响?之前的模型向马路上任何人学习,现在的模型向专业知识领域的专家学习,比如生物学、数学等知识,向模型传授增量新知识将会变得更昂贵,另一方面,算力成本会持续下降。
家人们的点赞、收藏、分享,是对田老师录课的最大支持!“AI十问”下集,请关注《田丰说》,每天3分钟,掌握全球AI大事件,本视频由商汤“如影”数字人APP生成。
空空如也
暂无小宇宙热门评论