Unsloth

Unsloth

Unsloth是一个开源的堆栈,用于在你自己的硬件上训练、运行和导出大型语言模型。它结合了一个Python微调库和Unsloth Studio,一个本地网页界面,你可以在这里与GGUF和safetensor模型聊天,从文档中构建数据集,并将训练好的权重导出到Like Ollama或vLLM这样的工具中。该项目面向希望在不放弃模型选择的情况下实现更快LoRA训练的ML工程师、研究人员和爱好者。

核心库用Triton重写了训练核,并声称在标准配置下微调速度大约快2倍,VRAM使用大约少70%,支持500多种文本、视觉、音频和嵌入模型。Unsloth Studio增加了无代码工作流程:数据配方可以将PDF、CSV和JSON转换为训练数据,而实时可观察性则跟踪训练过程中的损失和GPU使用情况。

你可以在Mac、Windows或Linux上离线运行所有功能。Studio还包括自我修复的工具调用、Bash和Python代码执行、模型轨迹内的网页搜索,以及一个兼容OpenAI的API端点,支持Claude Code或Codex等工具。这个开源包采用Apache 2.0许可证,Studio的UI组件使用AGPL-3.0许可证。

主要功能:
  1. 使用定制的 Triton 内核训练 500+ 文本、视觉、音频和嵌入模型

  2. Unsloth Studio 在 Mac 和 Windows 上 100% 离线运行 GGUF 和 safetensor 模型

  3. Data Recipes 从 PDF、CSV、JSON、DOCX 和 TXT 文件构建训练数据集

  4. 具备自愈能力的工具调用,支持 Bash、Python 执行及聊天中的网页搜索

  5. 将微调权重导出为 GGUF、safetensors、Ollama、vLLM 或 LM Studio 格式

  6. 兼容 OpenAI 的 API 端点,用于 Claude Code、Codex 及其他集成

Pros:
  1. 拥有超过67,000个GitHub星标和活跃社区频道的开源核心库。

  2. 声称微调速度提升2倍,所需VRAM比标准训练栈减少约70%。

  3. Unsloth Studio将本地推理、零代码训练和导出功能集成于一体的离线UI中。

  4. 支持500多个模型家族,包括文本、视觉、TTS和嵌入模型。

Cons:
  1. Pro 和 Enterprise 级别需联系销售,未公开价格。

  2. 尽管今日聊天功能可用,AMD Studio 培训支持尚不可用。

  3. Studio 仍处于测试版,预计持续修复及功能更新。

常见问题:

Unsloth 是免费使用的吗?

是的。Unsloth 在 GitHub 上提供了免费的开源版本,支持 Mistral、Gemma 和 Llama 模型,以及 4-bit 和 16-bit 的 LoRA 微调。Unsloth Pro 和 Enterprise 版本支持更快的多 GPU 训练,需联系团队获取报价。

Unsloth Studio 支持哪些平台?

Unsloth Studio 可在 Mac、Windows、Linux 和 WSL 本地运行。训练支持 NVIDIA RTX 30/40/50、Blackwell、DGX Spark/Station 和 Intel GPU。Mac 支持训练、MLX 和 GGUF 推理。AMD 聊天功能现已可用;全面 Studio 训练支持即将推出。

Unsloth 会收集用户数据吗?

Unsloth 表示不会收集使用遥测数据。Unsloth Studio 完全离线本地运行。公司仅收集极少的硬件信息,如 GPU 类型,用于兼容性检测。

我可以不进行微调直接使用 Unsloth 吗?

可以。你可以下载并在 Unsloth Studio 中运行任何 GGUF 或支持的模型,无需训练。界面还支持聊天、模型并排比较以及导出现有权重。

Unsloth 是否支持兼容 OpenAI 的 API?

支持。Unsloth Studio 提供兼容 OpenAI 的 API 端点,因此像 Claude Code 和 Codex 这样的工具可以调用本地 Qwen、Gemma 及其他模型,并享受 Unsloth 推理功能,如工具调用和网页搜索。

Unsloth 使用什么许可证?

Unsloth 采用双重许可。核心 Unsloth 包使用 Apache 2.0 许可证,可选组件包括 Unsloth Studio UI 则采用 AGPL-3.0 许可证。

分类:

定价:

免费试用和收费混合

标签:

LLM Fine-Tuning
Local AI
Model Training
Open Source

使用的技术:

Remix
Cloudflare
Python
GitHub

评论:

Give your opinion on Unsloth :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 Unsloth 替代方案(和付费)

By Rishit