【PrimeIntellect】INTELLECT-1去中心化模型开源分析

edwin99
edwin99
2025-02-02 07:38
25 阅读
0 评论
文章封面
目录
正在加载目录...

11 月 22 日，Prime Intellect 宣布通过去中心化方式训练完成了一个 10B 模型。30 号，他们开源了一切，包括基础模型、检查点、后训练模型、数据、PRIME 训练框架和技术报告。据了解，这应该是有史以来首个以去中心化形式训练得到的 10B 大模型。

 

技术报告：https://github.com/PrimeIntellect-ai/prime/blob/main/INTELLECT_1_Technical_Report.pdf

Hugging Face 页面：https://huggingface.co/PrimeIntellect/INTELLECT-1-Instruct

GitHub 地址：https://github.com/PrimeIntellect-ai/prime

体验链接：chat.primeintellect.ai

 

Prime Intellect 表示，相比此前的研究，INTELLECT-1 实现了 10 倍的规模提升。这一突破证明，大规模模型训练已不再是大公司的专利，通过去中心化的、社区驱动的方式同样可以实现。他们的下一步计划是将模型进一步扩展到前沿规模，最终目标是实现开源 AGI。这一点在其在线 Demo 的模型选项中已有暗示 —— 其中包含开放推理模型甚至 AGI 和 ASI 的潜在选项。看起来这确实是一个雄心勃勃的团队。
 

测试1：英语短句理解能力

 

测试2：英语长句理解能力

 

测试3：中文短句理解能力

 

测试4：中文长句理解能力

 

测试5：中英混合短句理解能力

 

测试6：中英混合长句理解能力

 

大规模去中心化训练

Prime Intellect 的这场去中心化训练的规模其实相当大，涉及到 3 个大洲的 5 个国家，同时运行了 112 台 H100 GPU。该团队表示：「我们在各大洲实现了 83% 的总体计算利用率。当仅在分布于整个美国的节点上进行训练时，实现了 96% 的计算利用率。与中心化训练方法相比，开销极小。」

这样的结果表明 INTELLECT-1 在存在严重的带宽限制和节点波动的情况下，依然能维持训练收敛性和高计算利用率，这昭示了一种新的可能性：能够以去中心化、社区驱动的方式训练出前沿的基础模型！

INTELLECT-1 基于 Llama-3 架构，它包含：42 层，隐藏维度为 4,096；32 个注意力头；序列长度为 8,192；词表大小为 128,256。

数据集 Huggingface 链接：https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu

模型在经过精心筛选的 1 万亿 token 数据集上训练，数据构成如下：

  • 55% FineWeb-Edu
  • 20% Stack v2（Stack Overflow 等技术问答数据）
  • 10% FineWeb（精选网页数据）
  • 10% DCLM-baseline（基准通用语料）
  • 5% OpenWebMath（数学数据）

模型训练持续了 42 天，采用了以下技术：
  • 采用 WSD 动态调整学习速度，让模型学习更高效
  • 精细调教的学习参数：内层学习率设为 7.5e-5
  • 引入特殊的损失函数（max-z-loss）来确保训练过程的稳定性
  • 使用 Nesterov 动量优化算法，帮助模型更快更好地学习
  • 支持训练机器的灵活接入和退出，最多可同时使用 14 台机器协同训练

从训练过程的监控图表可以看出，PRIME 系统表现出色：即使参与训练的机器数量经常变化（从最少 4 台逐渐增加到最多 14 台），整个训练过程依然保持稳定，充分证明了系统的可靠性。

 

Prime框架分析

该团队使用的训练框架名为 Prime，这基于他们开发的 OpenDiLoCo。而 OpenDiLoCo 又基于 DeepMind 之前开发的 Distributed Low-Communication（DiLoCo）方法。

项目地址：https://github.com/PrimeIntellect-ai/OpenDiLoCo

在此之前，Prime Intellect 已经在 1B 参数规模上实验了去中心化 AI 模型训练。该团队表示：「这让我们到达了我们的 masterplan 的第三步：合作训练用于语言、智能体和科学的开放式基础模型。」


相比于之前开源的 OpenDiLoCo，Prime 有两大关键提升。一是在算法方面，他们在 OpenDiLoCo 上执行了许多消融研究，发现还能进一步降低通信要求。值得注意的是，他们将伪梯度的 int8 量化与每 500 步进行一次的外部优化器同步相结合，从而将带宽要求降低了多达 2000 倍。这些结果不仅在较小规模下是有效的，该团队也将它们扩展到了更大的模型。在具体的大规模扩展方面，我们知道，去中心化训练既是工程挑战，也是研究挑战。当今最大的 AI 实验室也还没有彻底解决在多个分布式数据中心上的容错训练。该团队表示，Prime 这种全新的去中心化训练框架支持容错训练，支持计算资源的动态开启/关闭，还能优化全球分布式 GPU 网络中的通信和路由。

该团队在博客中写道：「该框架构成了我们开源技术堆栈的基础，其目标是支持我们自己的算法以及 OpenDiLoCo 之外的其他去中心化训练算法。通过在此基础架构上构建，我们的目标是突破全球分布式 AI 训练的极限。」

具体来说，Prime 框架包含以下关键特性：

  • 用于容错训练的 ElasticDeviceMesh
  • 异步分布式检查点
  • 实时检查点恢复
  • 自定义 Int8 All-Reduce 内核
  • 最大化带宽利用率
  • PyTorch FSDP2 / DTensor ZeRO-3 实现
  • CPU 卸载

 

计算效率分析

虽然训练散作满天星，但计算效率仍保持「聚是一团火」的高水准：在美国境内集群部署时，计算资源利用率高达 96%（中位数同步延迟仅 103s）；跨越大西洋的部署场景下依然维持在 85.6% 的优异水平（中位数同步延迟 382s）；即便是在全球分布式节点配置下，计算利用率也能稳定保持在 83%（中位数同步延迟 469s）。
这一系列亮眼的数据充分证明了该去中心化训练框架的容错性和扩展性，不仅能够从容应对不同地理位置的网络延迟挑战，更在确保训练稳定性的同时实现了高效计算。
 

后训练

在完成分布在全球的预训练阶段后，Prime Intellect 与 Arcee AI 合作开展了一系列后训练，以提升 INTELLECT-1 的整体能力和特定任务表现。主要包含三个阶段：

  • SFT（监督微调，16 轮）
  • DPO（直接偏好优化，8 轮）
  • 使用 MergeKit 整合训练成果

 

其他方面分析

论文链接：https://github.com/PrimeIntellect-ai/prime/blob/main/INTELLECT_1_Technical_Report.pdf

 

未来目标

INTELLECT-1 的成功让我们看到了去中心化训练的巨大潜力。至于如何将开源的 PRIME 框架扩展到目前动辄 70B 的规模呢？Prime Intellect 提了三点规划：
  • 继续扩大全球计算网络
  • 用更多奖金激励推动社区参与
  • 进一步优化 PRIME 去中心化训练架构以支持更大的模型

 

 

 

 
 

 

LLM 去中心化模型

评论区 (0)

请登录后参与评论

暂无评论，抢沙发吧！