关注《田丰说》,每天3分钟,掌握全球AI大事件!本视频由商汤“如影”数字人APP生成。
田老师认为,苹果智能项目中,体现了谷歌TPU、英伟达GPU之间的激烈竞争,以及OpenAIGPT-4o仍未能达到苹果的高用户体验要求,云端一体模型架构会逐渐成为全球标准,今年上半年商汤已经发布了端侧小模型,并将终端包年价格降至9.9元,中国在AI应用创新上有望领先美国。
全球AI要闻,苹果基础大模型解密,训练时没用英伟达GPU。
7月30日,苹果发布了iOS18.1和 iPadOS 18.1测试版,只向开发人员推出了AppleIntelligence苹果智能。同时苹果分享了47页的技术报告,端到端评测结果显示,苹果云端大模型超过了GPT-4,包括指令遵循、文本总结等任务能力。“苹果智能”功能具有全新版Siri,唤醒时在屏幕边缘亮光,体现了苹果的设计美感,当Siri与用户交流时,能在文本、语音之间随意切换,人类用户直接用自然语言搜索照片、生成邮件的AI摘要等。苹果基础大模型AFM负责人庞若鸣表示,这些基础模型“并不是聊天机器人”,而是支持包括摘要、写作帮助、工具使用和代码等功能的智能体。
亮点1,苹果大模型训练用的是谷歌TPU集群,云侧用了8192颗TPU v4芯片,端侧用了2048颗TPU v5p芯片,通过自家基于JAX的AXLearn框架进行训练。
亮点2,数据主要来源于Applebot爬取的互联网网页,以及有公共许可的代码库、数学数据集。苹果选用的数据集中没有使用GPL协议,都是MIT、Apache、CC0等开放程度更高的开源协议。
亮点3,苹果AI的核心是云侧模型AFM-server,数据量6.3T tokens,使用私有云系统来保护用户数据,蒸馏得到30亿参数的端侧模型AFM-on-device,云侧与端侧模型都是32k上下文,通过LoRA 适配器,模型能根据特定任务进行动态调整。
亮点4,苹果AI的后训练使用了合成数据与人类标注数据,合成数据主要关于数学、工具使用和代码。在RLHF优化阶段,苹果自创了iTeC和MDLOO两种强化学习算法,并对端侧进行了混合精度量化。
亮点5,苹果表示将在明年2025年推出,包括集成ChatGPT、图像/Emoji生成、照片自动清理、具有屏幕感知的超强版Siri。
每天3分钟,掌握全球AI大事件!《田丰说》全网发布,请点赞、收藏加关注!
空空如也
暂无小宇宙热门评论