跳至内容
FindOpenSource

Unsloth

用于微调大语言模型的库,速度和内存效率都显著优于标准训练方式。

概述

Unsloth 优化了热门开放权重大语言模型的微调流程,通过自定义内核优化,相比标准 Hugging Face 训练代码,实现更快的训练速度和更低的内存占用,使原本需要高端多 GPU 配置的微调任务也能在更普通的硬件上运行。它支持热门的开放模型,并可集成到常见的微调工作流中。

Unsloth 适合那些在有限硬件预算下微调开放权重大语言模型的团队或个人,是与目录中的 DeepSpeed 形成互补的专用效率层——两者都关注训练效率,Unsloth 专注于让微调在更小的硬件上也能实现。

分类
AI 与机器学习
关键词
fine-tuningllm-trainingmodel-optimization
编程语言
Python
许可证
Apache-2.0

发现信息有误?在 GitHub 上提出修改建议