Unsloth
Unsloth是一个开源的堆栈,用于在你自己的硬件上训练、运行和导出大型语言模型。它结合了一个Python微调库和Unsloth Studio,一个本地网页界面,你可以在这里与GGUF和safetensor模型聊天,从文档中构建数据集,并将训练好的权重导出到Like Ollama或vLLM这样的工具中。该项目面向希望在不放弃模型选择的情况下实现更快LoRA训练的ML工程师、研究人员和爱好者。
核心库用Triton重写了训练核,并声称在标准配置下微调速度大约快2倍,VRAM使用大约少70%,支持500多种文本、视觉、音频和嵌入模型。Unsloth Studio增加了无代码工作流程:数据配方可以将PDF、CSV和JSON转换为训练数据,而实时可观察性则跟踪训练过程中的损失和GPU使用情况。
你可以在Mac、Windows或Linux上离线运行所有功能。Studio还包括自我修复的工具调用、Bash和Python代码执行、模型轨迹内的网页搜索,以及一个兼容OpenAI的API端点,支持Claude Code或Codex等工具。这个开源包采用Apache 2.0许可证,Studio的UI组件使用AGPL-3.0许可证。
使用定制的 Triton 内核训练 500+ 文本、视觉、音频和嵌入模型
Unsloth Studio 在 Mac 和 Windows 上 100% 离线运行 GGUF 和 safetensor 模型
Data Recipes 从 PDF、CSV、JSON、DOCX 和 TXT 文件构建训练数据集
具备自愈能力的工具调用,支持 Bash、Python 执行及聊天中的网页搜索
将微调权重导出为 GGUF、safetensors、Ollama、vLLM 或 LM Studio 格式
兼容 OpenAI 的 API 端点,用于 Claude Code、Codex 及其他集成
拥有超过67,000个GitHub星标和活跃社区频道的开源核心库。
声称微调速度提升2倍,所需VRAM比标准训练栈减少约70%。
Unsloth Studio将本地推理、零代码训练和导出功能集成于一体的离线UI中。
支持500多个模型家族,包括文本、视觉、TTS和嵌入模型。
Pro 和 Enterprise 级别需联系销售,未公开价格。
尽管今日聊天功能可用,AMD Studio 培训支持尚不可用。
Studio 仍处于测试版,预计持续修复及功能更新。
Unsloth 是免费使用的吗?
是的。Unsloth 在 GitHub 上提供了免费的开源版本,支持 Mistral、Gemma 和 Llama 模型,以及 4-bit 和 16-bit 的 LoRA 微调。Unsloth Pro 和 Enterprise 版本支持更快的多 GPU 训练,需联系团队获取报价。
Unsloth Studio 支持哪些平台?
Unsloth Studio 可在 Mac、Windows、Linux 和 WSL 本地运行。训练支持 NVIDIA RTX 30/40/50、Blackwell、DGX Spark/Station 和 Intel GPU。Mac 支持训练、MLX 和 GGUF 推理。AMD 聊天功能现已可用;全面 Studio 训练支持即将推出。
Unsloth 会收集用户数据吗?
Unsloth 表示不会收集使用遥测数据。Unsloth Studio 完全离线本地运行。公司仅收集极少的硬件信息,如 GPU 类型,用于兼容性检测。
我可以不进行微调直接使用 Unsloth 吗?
可以。你可以下载并在 Unsloth Studio 中运行任何 GGUF 或支持的模型,无需训练。界面还支持聊天、模型并排比较以及导出现有权重。
Unsloth 是否支持兼容 OpenAI 的 API?
支持。Unsloth Studio 提供兼容 OpenAI 的 API 端点,因此像 Claude Code 和 Codex 这样的工具可以调用本地 Qwen、Gemma 及其他模型,并享受 Unsloth 推理功能,如工具调用和网页搜索。
Unsloth 使用什么许可证?
Unsloth 采用双重许可。核心 Unsloth 包使用 Apache 2.0 许可证,可选组件包括 Unsloth Studio UI 则采用 AGPL-3.0 许可证。

