grok动态 | Grok中国开源社区

埃隆·马斯克支持开源大模型运动

2024-3-27

在对OpenAI的闭门策略多次…

Read More

参数超GPT-4，马斯克Grok今日开源

2024-3-18

在人工智能领域，模型的开源与创…

Read More

埃隆马斯克宣布，成立xAI对抗OpenAI

2024-3-18

xAI，由埃隆·马斯克创立，旨…

Read More

Grok-1主要参数

参数	描述
模型名称	Grok-1
开发公司	xAI (由埃隆·马斯克旗下)
开源协议	Apache 2.0
模型架构	混合专家模型 (Mixed Expert Model, MoE)
总参数量	3140亿 (314B)
激活参数量	86B (当处理Token时，激活两个专家)
专家模型数量	8个专家 (Experts)
编程语言	Rust
深度学习框架	JAX
知识日期	2023年10月
模型大小	296GB
运行要求	628G显存 8卡H100
隐藏层大小	32768
Transformer层数	64，每层包含多头注意力块和密集块
模型训练时间	2个月

埃隆·马斯克支持开源大模型运动

我把Grok-1部署运行起来啦！

B站大神Grok-1源码解读第二期

B站大神Grok-1源码解读第一期