🔥 Unsloth:63k Stars,一行命令跑+微调 LLM,笔记本也能训 Gemma 4
项目地址:https://github.com/unslothai/unsloth | ⭐ 63,892 | 🛠 Python | 💡 一行命令启动 Unsloth Studio
老实说,想在本地跑一个大模型不难,难的是微调。装 CUDA、配环境、调参数、等训练跑完发现爆显存……这套流程走下来,新手基本就劝退了。Unsloth 做的就是一件事:让微调 LLM 变得跟 pip install 一样简单。
而且它最近搞了个 Unsloth Studio Beta——一个 Web UI,一行命令启动,浏览器里搜模型下载、跑推理、微调、导出 GGUF,全程鼠标操作。这玩意儿是真的想让你不用看文档就能上手。
一、安装:真·一行命令
curl -fsSL https://unsloth.ai/install.sh | sh
Windows 用户也别跑:
irm https://unsloth.ai/install.ps1 | iex
装完直接 unsloth studio 就能打开 Web UI。如果已经有 Python 环境,也可以手动装:
curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv unsloth_env --python 3.13
source unsloth_env/bin/activate
uv pip install unsloth --torch-backend=auto
二、核心能力:不只是微调
Unsloth Studio 不是那种只能跑 demo 的玩具。实测支持:
最骚的操作是——它支持自愈 tool calling。模型调用工具失败了,它会自动重试修正,不用你写一堆 fallback 逻辑。
三、Docker 部署:上生产环境
docker run -d \
-e JUPYTER_PASSWORD="your-password" \
-p 8888:8888 -p 8000:8000 -p 2222:22 \
-v $(pwd)/work:/workspace/work \
--gpus all \
unsloth/unsloth
挂载一个 work 目录进去,训练好的模型直接持久化。8000 端口是 API 服务,8888 是 Jupyter Notebook,方便你一边调参数一边看日志。一个容器全包了。
如果要在 Claude Code、Codex 这类工具里用本地模型当 backend,Unsloth 还能直接起一个 OpenAI 兼容的 inference endpoint:
# 启动后,API 地址是 http://localhost:8000/v1
# 直接在 Claude Code 里设置:
export ANTHROPIC_BASE_URL=http://localhost:8000/v1
四、踩坑记录
别问我怎么知道的——有几点一定要注意:
2. 第一次启动有点慢:Studio 要拉模型索引,网速慢的话等个一两分钟
3. Windows 必须开 WSL2:原生 pip 在 Windows 上不是不能跑,但坑多,老老实实用 WSL2 的 Docker 最省心
老实讲,Unsloth 最让我服气的不是它多强,而是它把微调这个本该很痛苦的事情做成了傻瓜式。一行命令装好,浏览器点点点就能训模型,导出 GGUF 后直接 ollama 加载——这条链路,以前我要写 5 个不同工具的对接脚本,现在一个 Studio 搞定。
五、总结
如果你还在纠结本地微调环境怎么搭,直接别想了,上 Unsloth 就完事。一行命令装完,剩下的交给浏览器。