DeepSpeed

DeepSpeed 实现了内存和通信高效的技术——如 ZeRO 优化器状态分片——让团队能够训练远超单个 GPU 显存容量的更大模型，并加速跨多块 GPU 和多台机器的训练过程。它与目录中的 PyTorch 集成使用，而非取代它。

DeepSpeed 适合那些正在训练大型模型、触及现有硬件极限的团队，是构建在 PyTorch 之上的专用优化层，而非一个通用框架——大多数团队会在标准单 GPU 或朴素多 GPU 训练已无法满足需求时，专门选用它。