DeepSpeed

DeepSpeed는 ZeRO 옵티마이저 상태 파티셔닝 같은 메모리·통신 효율화 기법을 구현하여, 사용 가능한 GPU 메모리에 원래는 들어가지 않을 만큼 큰 모델을 학습할 수 있게 해주고, 여러 GPU와 머신에 걸친 학습 속도를 높여줍니다. (카탈로그에 있는) PyTorch를 대체하는 것이 아니라 그것과 통합됩니다.

DeepSpeed는 사용 가능한 하드웨어의 한계를 밀어붙이는 대규모 모델을 학습하는 팀에 적합합니다. 범용 프레임워크가 아니라 PyTorch 위에 얹힌 특화된 최적화 계층으로, 대부분의 팀은 표준 단일 GPU나 단순한 멀티 GPU 학습으로는 부족할 때 특별히 이를 사용합니다.