马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！3140亿参数8个MoE，GitHub狂揽6k星

就在刚刚，xAI正式发布3140亿参数混合专家模型Grok-1的权重和架构。

3140亿的参数，让Grok-1成为迄今参数量最大的开源LLM，是Llama 2的4倍。

目前，xAI关于Grok-1没有透露更多信息。

官网放出的信息如下——

- 基础模型在大量文本数据上训练，未针对任何特定任务进行微调。

- 314B参数的MoE，有25%的权重在给定token上处于激活状态。

- 2023年10月，xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练。

一经上线GitHub，Grok就狂揽了6k星，586个Fork。

项目地址：https://github.com/xai-org/grok-1

马斯克还不忘嘲讽OpenAI一番，「告诉我们更多关于OpenAI的「open」部分...」

纽约时报点评道，开源Gork背后的原始代码，是这个世界上最富有的人控制AI未来战斗的升级。

开源究竟会让技术更安全，还是会让它更滥用？

「开源支持者」马斯克，以身作则地卷入了AI界的这场激烈辩论，并用行动给出了答案。

小扎刚刚也对Grok做出了评价，「并没有给人留下真正深刻的印象，3140亿参数太多了，你需要一堆H100，不过我已经买下了」。

pip install -r requirements.txtpython run.py

这个脚本会在测试输入上，加载checkpoint和模型中的样本。

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

更多细节

- tokenizer词汇量：131,072（于GPT-4类似）相当于2^17

- 嵌入大小：6144（48*128）

- Transformer层：64（每一层都有一个解码层：多头注意块和密度块）

密集块（密集前馈块）：

- 宽度因子（Widening Factor）：8

- 上下文长度：8192个token

AI社区已经沸腾了！

技术界指出，Grok的亮点是在前向反馈层中使用了GeGLU以及归一化方法，并且使用了有趣的三明治范式技术（sandwich norm technique）。

连OpenAI的员工，都表示了自己对Grok的强烈兴趣。

第一代Grok已超越Llama-2-70B

在数次嘲讽OpenAI是「CloseAI」之后，马斯克果真选择了开源自家大模型。