본문으로 건너뛰기
FindOpenSource

Unsloth

표준 학습 방식보다 훨씬 빠르고 메모리를 적게 사용하며 대규모 언어 모델을 파인튜닝하는 라이브러리입니다.

개요

Unsloth는 인기 있는 오픈 웨이트 LLM의 파인튜닝 과정을 최적화하며, 커스텀 커널 최적화를 통해 표준 Hugging Face 학습 코드보다 훨씬 빠르고 메모리 사용량이 적다고 주장합니다. 이를 통해 원래 고급 멀티 GPU 구성이 필요했을 파인튜닝 작업을 더 평범한 하드웨어에서 실행할 수 있게 해줍니다. 인기 있는 오픈 모델을 지원하며 일반적인 파인튜닝 워크플로와 통합됩니다.

Unsloth는 제한된 하드웨어 예산으로 오픈 웨이트 LLM을 파인튜닝하는 팀이나 개인에게 적합하며, (카탈로그에 있는) DeepSpeed를 보완하는 특화된 효율화 계층입니다 — 둘 다 학습 효율성을 다루지만, Unsloth는 더 작은 하드웨어에서도 파인튜닝을 가능하게 하는 데 특히 초점을 맞춥니다.

카테고리
AI 및 머신러닝
키워드
fine-tuningllm-trainingmodel-optimization
언어
Python
라이선스
Apache-2.0

잘못된 정보를 발견하셨나요? GitHub에서 수정 제안하기