标签: openai

Grok-1是马斯克AI创企xAI发布的Grok的第一代产品 ，其参数量达到了3140亿，远超OpenAIGPT-3.5的1750亿。这也使得Grok-1成为当前参数量最大的开源大语言模型。Grok-1的模型细节包括如下：基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调；3140亿参数的MoE模型，在给定token上的激活权重为25%；2023年10月，xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。xAI遵守Apache2.0许可证来开源Grok-1的权重和架构。Apache2.0许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。项目发布短短四个小时，已经揽获3.4k星标，热度还在持续增加。