GPT-4级模型Grok开源可商用！卷底层大模型的公司危了

夕小瑶科技说 原创
作者 | 醒醒上周，马斯克宣布 xAI 将开源 Grok。

刚刚，马斯克终于兑现诺言，xAI 宣布开源了 Grok-1 的模型权重和网络架构。

Grok-1 是一个拥有 3140亿 参数的专家混合模型，由xAI从头开始训练，模型实际只有 25% 的参数被激活，也就是实际激活的参数数量只有 86B。

这个架构和参数量，与网传的GPT-4模型高度相似，完全可以说是有意为之的GPT-4复刻版了。

xAI 官方博客中 提到Grok-1模型由8个专家组成，64层Transformer，每层包括多头注意力块和密集块。模型的上下文长度为 8192个token，采用bf16计算精度，权重使用 8bit 量化。

Grok-1 模型是在大量文本数据上训练，训练完成和模型权重保存截止到 2023年10月，未针对任何特定任务进行微调。

此外，还包含了模型的技术细节：

• 使用了旋转位置嵌入（Rotary Embeddings），提高了模型的位置编码能力。

• 131072个词量，embedding-dim为6144，64层Transformer。

• 上下文长度达到8192个 token，采用bf16计算精度，对权重使用8位量化，用于优化模型的运行效率和资源消耗。

代码和模型权重已上线GitHub，目前github上已有6.9k标星。

模型下载地址：
https://github.com/xai-org/grok-1

Grok-1采用的是Apache 2.0 license，意味着，可商用。

有趣的是，ChatGPT的账号竟和马斯克互掐起来了，不知道ChatGPT背后是人还是机器人。

此前马斯克向法院对OpenAI提起诉讼，控告Sam违背公司创立初衷，不开源GPT。

如今马斯克以身作则，率先开源自家大模型Grok, 撇开赌气成分不谈，但马斯克的公众形象始终是站在造福人类大众一方，而本次Grok的开源，是给大模型开源社区带来一些鲶鱼效应，期待可以给社区带来惊喜。

参考资料