DeepSpeed

DeepSpeed implementiert speicher- und kommunikationseffiziente Techniken – wie ZeRO-Optimizer-State-Partitionierung –, die es Teams ermöglichen, Modelle zu trainieren, die weit größer sind, als sonst in verfügbaren GPU-Speicher passen würden, und beschleunigt das Training über mehrere GPUs und Maschinen hinweg. Es integriert sich mit PyTorch (ebenfalls in diesem Katalog), statt es zu ersetzen.

DeepSpeed eignet sich für Teams, die große Modelle trainieren, die an die Grenzen verfügbarer Hardware stoßen – eine spezialisierte Optimierungsschicht über PyTorch statt eines Allzweck-Frameworks; die meisten Teams greifen speziell dann darauf zurück, wenn standardmäßiges Single-GPU- oder naives Multi-GPU-Training nicht ausreicht.