DeepSpeed

DeepSpeed implementa técnicas eficientes en memoria y comunicación —como el particionado del estado del optimizador ZeRO— que permiten a los equipos entrenar modelos mucho más grandes de lo que cabría normalmente en la memoria de GPU disponible, y acelera el entrenamiento en múltiples GPUs y máquinas. Se integra con PyTorch (también en este catálogo) en lugar de sustituirlo.

DeepSpeed encaja en equipos que entrenan modelos grandes que llevan al límite el hardware disponible, una capa de optimización especializada sobre PyTorch en lugar de un framework de propósito general; la mayoría de los equipos recurren a él específicamente cuando el entrenamiento estándar de una sola GPU o multi-GPU básico no es suficiente.