META, APPLE 和草莓:美股周复盘20240714

左兜进右兜

今天后半段主要分享: * Meta Platforms的第三代大语言模型Llama 3; * Apple计划将Siri与ChatGPT整合; * OpenAI的AI分级和"草莓"项目。 META 美东时间7月12日周五,媒体援引一名Meta Platforms的员工消息称,Meta计划7月23日发布旗下第三代大语言模型(LLM)Llama 3的最大版本。这一最新版模型将拥有4050亿参数,也将是多模态模型,这意味着它将能够理解和生成图像和文本。该媒体未透露这一最强版本是否开源。 去年7月Meta发布的Llama 2有三个版本,最大版本70B的参数规模为700亿。今年4月,Meta发布Llama 3Meta,称它为“迄今为止能力最强的开源LLM”。当时推出的Llama 3有8B和70B两个版本。 Meta CEO扎克伯格当时称,大版本的Llama 3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源,当时它还在接受训练。 对比前代,Llama 3有了质的飞跃。Llama 2使用2万亿个 token进行训练,而训练Llama 3大版本的token超过15 万亿。 Meta称,由于预训练和训练后的改进,其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。在训练后程序得到改进后,模型的错误拒绝率(FRR)大幅下降,一致性提高,模型响应的多样性增加。在推理、代码生成和指令跟踪等功能方面,Llama 3相比Llama 2有极大改进,使Llama 3更易于操控。 4月Meta展示,8B和70B版本的Llama 3指令调优模型在大规模多任务语言理解数据集(MMLU)、研究生水平专家推理(GPQA)、数学评测集(GSM8K)、编程多语言测试(HumanEval)等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的预训练Llama 3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。 APPLE 在Siri上整合ChatGPT Siri 很快就能利用OpenAI 的Chat GPT回答多类问题。例如,如果你需要使用花园里的一些食材制作菜谱,你可以向 Siri 询问,Siri 会自动将信息反馈给 ChatGPT,为你生成一些选项。 [图片] 而且你可以在通过Siri 向ChatGPT 提问时附上照片,也可以询问与文档或PDF相关的问题。例如,你在散步时遇到一种喜欢的花,但不知道它叫什么名字。这是你可以给它拍张照片,然后问Siri这花叫什么名字,在哪里可以找到。 这些操作甚至都不需要ChatGPT账户,只需要授予Siri接入该服务的权限。 能感知用户询问时所处的语境 借助苹果智能,Siri将能感知你询问时所处的独特语境,这意味着它可以采取更为个性化的操作,并能利用你设备上的可用信息,找到你正在寻找的东西。 [图片] 例如,如果你不记得朋友爱丽丝是通过短信还是电子邮件与你分享了一份食谱,你可以要求Siri “调出爱丽丝几天前发送的食谱”。或者,如果你在预订机票时需要快速找到你的护照号码,你可以要求Siri从你的电子邮件或图中调出你的护照号码,并自动将其输入到必填栏。 更强的语言理解能力 Siri与用户的交流将变得更容易:Siri将能更好地理解人们交流的真实意思。即使你与Siri对话时磕磕绊绊,它也能听懂你话。例如,你可能说:"Siri,设置一个闹钟,哦,等等,不,设置一个 10 分钟的定时器。其实是五分钟"。Siri 会明白你的指令是什么。 [图片] 你可以与Siri打字交流了 在升级之前,你只能通过语音与Siri交流。有了苹果智能,当你不想大声说话时,就可以打字给Siri。只需双击iPhone或 iPad屏幕上的按钮,就可以向 Siri 提出任何问题。 [图片] Siri将有屏幕感知能力 Siri 将可以理解屏幕上的内容,并根据你当前在设备上查看的内容采取行动。例如,如果你的朋友给你发了一条新地址的短信,你可以告诉 Siri 将该地址添加到他们的联系人信息中。 [图片] 跨App采取行动 有了苹果智能,Siri 可以在App内或跨App采取行动。你可以在“照片”App中要求Siri为你增强照片效果,然后在“信息”App中要求Siri将照片发送给特定的人。你不必分别打开不同的应用程序或完成任务,因为Siri可以在这两个应用程序中自行采取行动。 [图片] 草莓 这是openAI定义的几个级别的AI情况,直到昨天bloomberg和路透报道的所谓“OpenAI内部会议”,给一个5层AI分级和所谓“草莓”项目。 Level 1 : Chatbots, Al with conversational language; Level 2: Reasoners, human-level problem solving; Level 3: Agents, systems that can take actions; Level 4: Innovators, Al that can aid in invention; Level 5: organizations, Al that can do the work of organization. OpenAI认为自己已经实现了L1,正在实现L2。要知道L2的定义要求很高的,“ a model that enables AI to plan ahead, reflect how the physical world functions, and work through challenging multi-step problems reliably” 如果GPT-5就实现L2,那的确是sam放的卫星“巨大飞跃”,但就算GPT-6实现,对于刚起步2年的行业来说也已经算很快了。 那么从OpenAI的角度,假如有一天领先行业实现了L2,他会做什么? 从目前行业的进展来看,模型尤其是scaling本身已经没有太多秘密(虽然工程难度依然巨大),模型的领先无法带来moat,就比如我们常见互联网公司的护城河是“躺着也能赚钱”,显然模型的领先无法让你“躺着赚钱”,只是个时间优势,甚至“跟随+后发”策略更省体力(算力)。夸张点说,一篇paper发出来或者几个人倍挖走,基本就没有秘密了(虽然执行的工程壁垒依然很高)。 因此合理推断,OpenAI认为L2已经在“视野范围内”,只是时间问题(和卡的问题),但想建立持续壁垒和护城河,一定是走到L3。基于L2的领先优势,快速建立L3,符合其最大利益。这也解释了为什么我们经常听说OpenAI“目前一半的精力都在搞应用。

6分钟
52
1年前

端侧AI发力:美股周复盘20240707

左兜进右兜

【原理】 效果 效果评估,从推理的延迟来看,利用这个原理,可以极大地缩减延迟时间; [图片] 手机的结构 比如16G-512G , 前面的16G指的是DRAM, 512G指的是Flash Memory。GPU和CPU是处理问题的大脑,从Flash -> DRAM的带宽是1GB/s, DRAM到运作是100GB/s, 我们在使用大模型的时候需要的是低延迟,所以就需要把模型参数放到DRAM里,但是,模型参数不够放置DRAM,比如7B的参数模型需要14G的DRAM。所以需要把参数存在Flash Memory 然后想办法在DRAM里面存储有用的参数。 [图片] 大模型参数的稀疏性 首先大模型上大部分的参数都是0,所以稀疏性很大。 [图片] [图片] 使用的办法 (1) Windowing 使用滑动窗口的方式,每次只使用5个字符的大模型参数,然后滑动,这样替换的参数就会少;window size选择为5,因为随着窗口的扩大,DRAM里面存储的参数要求在增大,但是替换的参数量其实没有边际上更小,所以用5来测试。 [图片] [图片] 把同一个神经元点的参数储存在一起 直觉上就是把存储数据整合在同一行上,因为毕竟在计算的时候是同时使用的,没必要分两步进行吞吐计算量; 利用predictor把预测出可能是有用的,非0的部分从Flash Memory里面读出来。 [图片] 优化在DRAM里面的数据存储使用 删除不需要的神经元参数,直接复制粘贴需要的,然后再添加,其实就是增加DRAM的使用效率。 [图片] 结果 最后测试结果,在经过优化后运行大模型,可以缩短延迟时间,增加吞吐量。可以在苹果端使用大模型。 [图片]

6分钟
46
1年前
EarsOnMe

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧