KServe

KServe 提供一个标准的 Kubernetes 自定义资源，用于部署来自 scikit-learn、PyTorch、TensorFlow 等（均收录于本目录）的训练模型，内置自动扩缩容（包括缩容到零）、金丝雀发布，以及无论使用哪种框架训练模型都保持一致的推理 API。它是一个 CNCF 项目，专为通用机器学习模型服务而构建，而非专门针对大语言模型。

KServe 适合那些需要在众多数据科学团队和框架之间统一模型部署方式的平台团队，相比目录中专注于大语言模型推理的 vLLM 或 SGLang，它是一个覆盖范围更广的服务平台。