검색: "llm-inference" — FindOpenSource

"llm-inference" 검색 결과 4건

관련 카테고리: AI 및 머신러닝 (4)

이런 검색어도 찾아보세요:LLM 추론 모델 서빙 model-serving llm-serving

vLLM
Apache-2.0
대규모 언어 모델을 위한 고처리량·메모리 효율적인 추론·서빙 엔진으로, 단일 로컬 머신이 아니라 프로덕션 환경에서 대규모로 LLM을 운영하기 위해 만들어졌습니다.
- AI 및 머신러닝
llama.cpp
MIT
CPU를 포함한 소비자용 하드웨어에서 최소한의 의존성으로 LLM 추론을 로컬에서 실행하는 고성능 C/C++ 구현체입니다.
- AI 및 머신러닝
SGLang
Apache-2.0
복잡한 LLM 프로그램을 위한 구조화된 생성 언어를 갖춘, 대규모 언어 모델과 비전-언어 모델을 위한 빠른 서빙 프레임워크입니다.
- AI 및 머신러닝
KServe
Apache-2.0
대규모로 머신러닝 모델을 서빙하기 위한 Kubernetes 네이티브 플랫폼으로, 프레임워크 전반에 걸쳐 모델 배포를 표준화합니다.
- AI 및 머신러닝