时长:
1分钟
播放:
4
发布:
1年前
主播...
简介...
关注《田丰说》,每天3分钟,掌握全球AI大事件!本视频由商汤“如影”数字人APP生成。
田老师认为,在云侧数据中心市场,英伟达具有绝对领先优势,下一步寄希望于通过移动终端通用GPU、开源小模型等生态打法,抢占正在蓬勃兴起的AI PC、AI眼镜、智能车、机器人终端市场,这对国内AI芯片企业有一定战略指导意义。
全球AI要闻,英伟达重磅开源,最佳压缩架构节省1.8倍算力。
7月23日,英伟达发布了开源小模型Minitron 4B和8B,即40亿和80亿两个版本,Minitron是通过修剪Nemotron-4 15B 150亿模型获得的小语言模型,为大语言模型开发探索了一套实用且有效的压缩最佳实践。Minitron 使用小于3%的小部分原始训练数据,避免了完全重新训练的高昂开销。与从头开始训练相比,每个模型所需的训练标记最多减少了40倍,这为训练整个模型系列(15B、8B和4B)节省了1.8倍的计算成本 。与从头开始训练相比,Minitron模型的MMLU评测分数提高了16%,性能可与法国Mistral7B、谷歌Gemma 7B 和Meta Llama-3 8B等小模型相媲美,并且优于文献中最先进的压缩技术。
每天3分钟,掌握全球AI大事件!《田丰说》全网发布,敬请关注!
评价...
空空如也
小宇宙热门评论...
暂无小宇宙热门评论