Grok-1是马斯克AI创企xAI发布的Grok的第一代产品 ，其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿。这也使得Grok-1成为当前参数量最大的开源大语言模型。

Grok-1 的模型细节包括如下：

• 基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调；
• 3140 亿参数的 MoE 模型，在给定 token 上的激活权重为 25%；
• 2023 年 10 月，xAI 使用 JAX 库和 Rust 语言组成的自定义训练堆栈从头开始训练。
  

xAI 遵守 Apache 2.0 许可证来开源 Grok-1 的权重和架构。Apache 2.0 许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。项目发布短短四个小时，已经揽获 3.4k 星标，热度还在持续增加。