欣淇
发布于 2026-05-10 / 2 阅读
0
0

Unsloth63k Stars+ LLM Gemma 4:

🔥 Unsloth:63k Stars,一行命令跑+微调 LLM,笔记本也能训 Gemma 4

项目地址:https://github.com/unslothai/unsloth | ⭐ 63,892 | 🛠 Python | 💡 一行命令启动 Unsloth Studio

老实说,想在本地跑一个大模型不难,难的是微调。装 CUDA、配环境、调参数、等训练跑完发现爆显存……这套流程走下来,新手基本就劝退了。Unsloth 做的就是一件事:让微调 LLM 变得跟 pip install 一样简单

而且它最近搞了个 Unsloth Studio Beta——一个 Web UI,一行命令启动,浏览器里搜模型下载、跑推理、微调、导出 GGUF,全程鼠标操作。这玩意儿是真的想让你不用看文档就能上手。


一、安装:真·一行命令

curl -fsSL https://unsloth.ai/install.sh | sh

Windows 用户也别跑:

irm https://unsloth.ai/install.ps1 | iex

装完直接 unsloth studio 就能打开 Web UI。如果已经有 Python 环境,也可以手动装:

curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv unsloth_env --python 3.13
source unsloth_env/bin/activate
uv pip install unsloth --torch-backend=auto

二、核心能力:不只是微调

Unsloth Studio 不是那种只能跑 demo 的玩具。实测支持:

  • 搜索 + 下载 + 运行模型(GGUF、LoRA、safetensors 全支持)
  • 微调 Qwen3、DeepSeek、Gemma 4、Llama 4、Mistral、Phi-4 等主流模型
  • 导出自定义模型为 GGUF 或 16-bit safetensors
  • 内置 API 端点:微调后的模型直接起一个 OpenAI 兼容接口
  • 最骚的操作是——它支持自愈 tool calling。模型调用工具失败了,它会自动重试修正,不用你写一堆 fallback 逻辑。

    三、Docker 部署:上生产环境

    docker run -d \
      -e JUPYTER_PASSWORD="your-password" \
      -p 8888:8888 -p 8000:8000 -p 2222:22 \
      -v $(pwd)/work:/workspace/work \
      --gpus all \
      unsloth/unsloth
    

    挂载一个 work 目录进去,训练好的模型直接持久化。8000 端口是 API 服务,8888 是 Jupyter Notebook,方便你一边调参数一边看日志。一个容器全包了。

    如果要在 Claude Code、Codex 这类工具里用本地模型当 backend,Unsloth 还能直接起一个 OpenAI 兼容的 inference endpoint:

    # 启动后,API 地址是 http://localhost:8000/v1
    # 直接在 Claude Code 里设置:
    export ANTHROPIC_BASE_URL=http://localhost:8000/v1
    

    四、踩坑记录

    别问我怎么知道的——有几点一定要注意:

  • GPU 显存不足? Unsloth 的 LoRA/QLoRA 优化可以把 70B 模型压缩到 16GB 显存跑微调。RTX 4090 跑 Gemma 4 9B 完全够用
  • 2. 第一次启动有点慢:Studio 要拉模型索引,网速慢的话等个一两分钟

    3. Windows 必须开 WSL2:原生 pip 在 Windows 上不是不能跑,但坑多,老老实实用 WSL2 的 Docker 最省心

    老实讲,Unsloth 最让我服气的不是它多强,而是它把微调这个本该很痛苦的事情做成了傻瓜式。一行命令装好,浏览器点点点就能训模型,导出 GGUF 后直接 ollama 加载——这条链路,以前我要写 5 个不同工具的对接脚本,现在一个 Studio 搞定。

    五、总结

  • ✅ 一行命令启动,支持 macOS / Linux / Windows(WSL2)
  • ✅ 搜索、下载、推理、微调、导出全套流程
  • ✅ Docker 部署支持生产环境 API 服务
  • ✅ 内置 OpenAI 兼容端点,可对接 Claude Code、Codex
  • ✅ 支持 Qwen3、DeepSeek、Gemma 4、Llama 4 等 100+ 模型
  • ⚠️ GPU 内存优化极好,70B 模型也能 16GB 显存微调
  • 如果你还在纠结本地微调环境怎么搭,直接别想了,上 Unsloth 就完事。一行命令装完,剩下的交给浏览器。


    评论