关注《田丰说》,每天3分钟,掌握全球AI大事件!本视频由商汤“如影”数字人APP生成。
田老师认为,用领先大模型“瘦身”出小模型,具有广阔的商业前景,例如部署在新一代AI手机、AI 笔记本、AR眼镜、智能汽车等终端上,而用户对终端模型的安全要求很高,所以如何使用AI技术来增强内容过滤、可解释性、可靠性、鲁棒性,成为大模型公司的科研重点。教员在《矛盾论》中告诉我们“有矛必有盾”,采用“AI for AI”机制,就是用安全模型监督新一代模型,用魔法打败魔法,用复杂技术解释复杂技术。
全球AI要闻,谷歌上新最安全端侧小模型Gemma 2-2B。
8月1日,谷歌DeepMind最新发布Gemma 2-2B小模型,拥有20亿参数量,在业界Chatbot Arena竞技场排行榜超越了千亿参数量的GPT 3.5-175B和Mixtral-8x7b。谷歌在TPU v5e芯片上计算,使用2万亿tokens数据集训练而成。Gemma 2 -2B这个20亿参数小模型是从更大的模型中蒸馏而来,所以产生了非常好的结果。由于小模型占用空间小,特别适合在各种终端硬件上高效运行,从边缘设备到笔记本电脑都适配。网友实测发现,对于9.9和9.11两个数字谁大的问题,Gemma2 2B回答清晰正确。
亮点1,谷歌还同时发布了内容安全新模型ShieldGemma,这是一套基于 Gemma 2 构建的安全内容分类器模型,用于检测有害内容。根据最优F1和AU-PRC评测分数,ShieldGemma优于现有的安全分类器。针对网络上常见的仇恨言论、骚扰、色情内容和危险内容,有2B(20亿)、9B(90亿)和27B(270亿)三种参数规格。2B 模型专为在线内容分类而设计,更大的版本适用于离线大批量数据处理应用。
亮点2,谷歌新发布的还有GemmaScope模型,是一种用于可解释性的开放套件工具模型,在Gemma 2模型的每一层和子层上都有数百个稀疏自动编码器(SAE),SAE自动编码器在训练阶段需要大量计算,相当于GPT-3千亿参数量大模型算力的22%,用模型来提高可解释性,保障人工智能的安全性。
亮点3,SAE就像AI内部运作的“显微镜”,能帮助人类破译整个大模型,目前仍需要大量研究工作。使用SAE分析模型的内部决策,采用超过400个SAE覆盖Gemma 2 2B和9B模型的所有神经网络层,将Gemma 2处理的密集信息扩展为更易于解释、易于阅读的形式。
亮点4,在Scale AI公司最新的SEAL Leaderboard鲁棒性排行榜上,谷歌Gemini 1.5 Pro实测第一,是目前规模对抗鲁棒性排行榜上最安全的模型。
每天3分钟,掌握全球AI大事件!《田丰说》全网发布,请点赞、收藏加关注!
空空如也
暂无小宇宙热门评论