검색: "LLM 추론" — FindOpenSource

"LLM 추론" 검색 결과 6건

관련 카테고리: AI 및 머신러닝 (6)

이런 검색어도 찾아보세요:모델 서빙 llm-inference model-serving llm-serving

vLLM
Apache-2.0
대규모 언어 모델을 위한 고처리량·메모리 효율적인 추론·서빙 엔진으로, 단일 로컬 머신이 아니라 프로덕션 환경에서 대규모로 LLM을 운영하기 위해 만들어졌습니다.
- AI 및 머신러닝
LangChain
MIT
대규모 언어 모델, 에이전트, 검색 증강 생성(RAG)으로 구동되는 애플리케이션을 개발하기 위한 프레임워크입니다.
- AI 및 머신러닝
llama.cpp
MIT
CPU를 포함한 소비자용 하드웨어에서 최소한의 의존성으로 LLM 추론을 로컬에서 실행하는 고성능 C/C++ 구현체입니다.
- AI 및 머신러닝
Ollama
MIT
간단한 커맨드라인 인터페이스와 API로 대규모 언어 모델을 로컬에서 실행합니다.
- AI 및 머신러닝
SGLang
Apache-2.0
복잡한 LLM 프로그램을 위한 구조화된 생성 언어를 갖춘, 대규모 언어 모델과 비전-언어 모델을 위한 빠른 서빙 프레임워크입니다.
- AI 및 머신러닝
KServe
Apache-2.0
대규모로 머신러닝 모델을 서빙하기 위한 Kubernetes 네이티브 플랫폼으로, 프레임워크 전반에 걸쳐 모델 배포를 표준화합니다.
- AI 및 머신러닝