开源下载 | Grok中国开源社区

Grok1代码国内高速下载(百度网盘下载Grok)

2024-3-18

我的迅雷在下载中，预计今晚能下…

Read More

Grok开源模型下载地址

2024-3-18

GitHub下载：https:…

Read More

Grok-1主要参数

参数	描述
模型名称	Grok-1
开发公司	xAI (由埃隆·马斯克旗下)
开源协议	Apache 2.0
模型架构	混合专家模型 (Mixed Expert Model, MoE)
总参数量	3140亿 (314B)
激活参数量	86B (当处理Token时，激活两个专家)
专家模型数量	8个专家 (Experts)
编程语言	Rust
深度学习框架	JAX
知识日期	2023年10月
模型大小	296GB
运行要求	628G显存 8卡H100
隐藏层大小	32768
Transformer层数	64，每层包含多头注意力块和密集块
模型训练时间	2个月

埃隆·马斯克支持开源大模型运动

我把Grok-1部署运行起来啦！

B站大神Grok-1源码解读第二期

B站大神Grok-1源码解读第一期