SGLang
복잡한 LLM 프로그램을 위한 구조화된 생성 언어를 갖춘, 대규모 언어 모델과 비전-언어 모델을 위한 빠른 서빙 프레임워크입니다.
개요
SGLang은 고성능 추론 백엔드와, 다단계 추론·구조화된 출력·도구 호출 같은 복잡한 LLM 상호작용을 개별 API 호출의 연속이 아니라 런타임이 전체적으로 최적화할 수 있는 하나의 프로그램으로 표현하는 프런트엔드 언어를 결합합니다. 순수 서빙 처리량과 복잡한 에이전트형 워크로드를 위한 표현력을 모두 목표로 합니다.
SGLang은 구조화되고 다단계인 생성 패턴과 결합된 고처리량 LLM 서빙이 필요한 팀에 적합하며, 카탈로그에 있는 vLLM의 성능 중심 대안으로 팀들이 흔히 서로 벤치마킹합니다.
- 카테고리
- AI 및 머신러닝
- 언어
- Python
- 라이선스
- Apache-2.0
광고
관련 프로젝트
llama.cpp
MITCPU를 포함한 소비자용 하드웨어에서 최소한의 의존성으로 LLM 추론을 로컬에서 실행하는 고성능 C/C++ 구현체입니다.
- AI 및 머신러닝
vLLM
Apache-2.0대규모 언어 모델을 위한 고처리량·메모리 효율적인 추론·서빙 엔진으로, 단일 로컬 머신이 아니라 프로덕션 환경에서 대규모로 LLM을 운영하기 위해 만들어졌습니다.
- AI 및 머신러닝
KServe
Apache-2.0대규모로 머신러닝 모델을 서빙하기 위한 Kubernetes 네이티브 플랫폼으로, 프레임워크 전반에 걸쳐 모델 배포를 표준화합니다.
- AI 및 머신러닝
CAMEL
Apache-2.0자율적으로 협업하는, 여러 개의 소통하는 역할극 AI 에이전트 시스템을 연구하고 구축하기 위한 오픈소스 프레임워크입니다.
- AI 및 머신러닝
잘못된 정보를 발견하셨나요? GitHub에서 수정 제안하기