资料
  • 资料
  • 专题
马斯克开源Grok-1(混合专家模型),其参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿,百度云盘296.38GB ...
推荐星级:
时间:2024-03-27
大小:12.39KB
阅读数:60
上传用户:kenneth0313_400047607
查看他发布的资源
下载次数
1
所需E币
2
ebi
新用户注册即送 300 E币
更多E币赚取方法,请查看
close
资料介绍

Grok-1是马斯克AI创企xAI发布的Grok的第一代产品 ,其参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿。这也使得Grok-1成为当前参数量最大的开源大语言模型。

Grok-1 的模型细节包括如下:

  • 基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调;
  • 3140 亿参数的 MoE 模型,在给定 token 上的激活权重为 25%;
  • 2023 年 10 月,xAI 使用 JAX 库和 Rust 语言组成的自定义训练堆栈从头开始训练。

xAI 遵守 Apache 2.0 许可证来开源 Grok-1 的权重和架构。Apache 2.0 许可证允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。项目发布短短四个小时,已经揽获 3.4k 星标,热度还在持续增加。

 
版权说明:本资料由用户提供并上传,仅用于学习交流;若内容存在侵权,请进行举报,或 联系我们 删除。
相关评论 (下载后评价送E币 我要评论)
没有更多评论了
  • 可能感兴趣
  • 关注本资料的网友还下载了
  • 技术白皮书