KServe

KServe는 (카탈로그에 있는) scikit-learn, PyTorch, TensorFlow 등으로 학습된 모델을 배포하기 위한 표준 Kubernetes 커스텀 리소스를 제공하며, 오토스케일링(0으로 축소 포함), 카나리 롤아웃, 그리고 어떤 프레임워크로 모델을 학습했든 일관된 추론 API를 기본 제공합니다. LLM 전용이 아니라 범용 ML 모델 서빙을 위해 특별히 만들어진 CNCF 프로젝트입니다.

KServe는 여러 데이터 과학 팀과 프레임워크에 걸쳐 모델이 배포되는 방식을 표준화하는 플랫폼 팀에 적합하며, LLM 추론에 특화된 (카탈로그에 있는) vLLM이나 SGLang보다 더 넓은 범위의 서빙 플랫폼입니다.