Unsloth
用于微调大语言模型的库,速度和内存效率都显著优于标准训练方式。
概述
Unsloth 优化了热门开放权重大语言模型的微调流程,通过自定义内核优化,相比标准 Hugging Face 训练代码,实现更快的训练速度和更低的内存占用,使原本需要高端多 GPU 配置的微调任务也能在更普通的硬件上运行。它支持热门的开放模型,并可集成到常见的微调工作流中。
Unsloth 适合那些在有限硬件预算下微调开放权重大语言模型的团队或个人,是与目录中的 DeepSpeed 形成互补的专用效率层——两者都关注训练效率,Unsloth 专注于让微调在更小的硬件上也能实现。
- 分类
- AI 与机器学习
- 编程语言
- Python
- 许可证
- Apache-2.0
广告
相关项目
发现信息有误?在 GitHub 上提出修改建议。