模型技术 | Grok中国开源社区

马斯克推出超GPT-4参数的开源AI模型Grok-1：3140亿参数颠覆自然语言处理界

2024-3-25

探索埃隆·马斯克旗下xAI公司…

Read More

Grok-1开源模型参数表（大全）

2024-3-18

我用GPT4整理了一份Grok…

Read More

Grok-1技术参数/运行环境/汇总

2024-3-18

Grok-1，一款由马斯克旗下…

Read More

Grok-1主要参数

参数	描述
模型名称	Grok-1
开发公司	xAI (由埃隆·马斯克旗下)
开源协议	Apache 2.0
模型架构	混合专家模型 (Mixed Expert Model, MoE)
总参数量	3140亿 (314B)
激活参数量	86B (当处理Token时，激活两个专家)
专家模型数量	8个专家 (Experts)
编程语言	Rust
深度学习框架	JAX
知识日期	2023年10月
模型大小	296GB
运行要求	628G显存 8卡H100
隐藏层大小	32768
Transformer层数	64，每层包含多头注意力块和密集块
模型训练时间	2个月

埃隆·马斯克支持开源大模型运动

我把Grok-1部署运行起来啦！

B站大神Grok-1源码解读第二期

B站大神Grok-1源码解读第一期