DeepSpeed

DeepSpeed は、ZeRO オプティマイザー状態パーティショニングのような、メモリと通信の効率化技術を実装しており、利用可能な GPU メモリに本来収まらないほど大規模なモデルのトレーニングを可能にし、複数の GPU やマシンにまたがるトレーニングを高速化します。(カタログにもある) PyTorch を置き換えるのではなく、それと統合して動作します。

DeepSpeed は、利用可能なハードウェアの限界に挑む大規模モデルをトレーニングするチームに向いています。汎用フレームワークではなく、PyTorch の上に乗る特化した最適化レイヤーで、標準的な単一 GPU やナイーブなマルチ GPU トレーニングでは不十分な場合に、多くのチームが特にこれを選びます。