SGLang
복잡한 LLM 프로그램을 위한 구조화된 생성 언어를 갖춘, 대규모 언어 모델과 비전-언어 모델을 위한 빠른 서빙 프레임워크입니다.
- 활발히 유지보수됨
- 관대한 라이선스
개요
SGLang은 고성능 추론 백엔드와, 다단계 추론·구조화된 출력·도구 호출 같은 복잡한 LLM 상호작용을 개별 API 호출의 연속이 아니라 런타임이 전체적으로 최적화할 수 있는 하나의 프로그램으로 표현하는 프런트엔드 언어를 결합합니다. 순수 서빙 처리량과 복잡한 에이전트형 워크로드를 위한 표현력을 모두 목표로 합니다.
SGLang은 구조화되고 다단계인 생성 패턴과 결합된 고처리량 LLM 서빙이 필요한 팀에 적합하며, 카탈로그에 있는 vLLM의 성능 중심 대안으로 팀들이 흔히 서로 벤치마킹합니다.
이 카탈로그에 오른 이유
카탈로그 평점: ★★★★☆ (4/5)
Fast-growing high-performance LLM serving engine, a strong alternative to vLLM.
- 성숙 단계
- 커뮤니티 주도
- 카테고리
- AI 및 머신러닝
- 언어
- Python
- 라이선스
- Apache-2.0
관련 프로젝트
vLLM
Apache-2.0대규모 언어 모델을 위한 고처리량·메모리 효율적인 추론·서빙 엔진으로, 단일 로컬 머신이 아니라 프로덕션 환경에서 대규모로 LLM을 운영하기 위해 만들어졌습니다.
활발히 유지보수됨
- AI 및 머신러닝
llama.cpp
MITCPU를 포함한 소비자용 하드웨어에서 최소한의 의존성으로 LLM 추론을 로컬에서 실행하는 고성능 C/C++ 구현체입니다.
활발히 유지보수됨
- AI 및 머신러닝
KServe
Apache-2.0대규모로 머신러닝 모델을 서빙하기 위한 Kubernetes 네이티브 플랫폼으로, 프레임워크 전반에 걸쳐 모델 배포를 표준화합니다.
활발히 유지보수됨
- AI 및 머신러닝
Milvus
Apache-2.0확장 가능한 유사도 검색과 AI 애플리케이션을 위해 만들어진 오픈소스 벡터 데이터베이스입니다.
활발히 유지보수됨
- AI 및 머신러닝
- 데이터베이스
잘못된 정보를 발견하셨나요? GitHub에서 수정 제안하기