主播
节目简介
来源：小宇宙
马斯克旗下的xAI团队开源了3140亿参数的大模型 Grok-1，这是迄今为止参数量最大的开源语言模型。
**Grok-1 简介**
Grok-1 发布于 2024 年 3 月 18 日，由马斯克旗下的xAI团队开发，拥有3140亿参数，是目前开源的最大的语言模型。该模型采用了混合专家模型架构，并支持激活数据分布计算和8位数字精度量化。
**Grok-1 的技术特点**
- **参数量巨大:** 3140亿参数，是目前开源的最大的语言模型
- **模型架构:** 混合专家模型架构，能够更有效地处理复杂任务
- **性能优化:** 支持激活数据分布计算和8位数字精度量化，能够在保证性能的同时降低功耗
- **序列长度:** 最大序列长度为8192，能够处理更长的上下文信息
评价
空空如也
小宇宙热评
暂无小宇宙热门评论
