🔋 AnythingLLM：59k Stars 的全能 AI 工具箱，文档问答 + 智能体 + MCP 全栈打通

项目地址：Mintplex-Labs/anything-llm | ⭐ 59,935 Stars | 🛠 JavaScript | 作者：Mintplex-Labs

老实说，桌面上的 AI 客户端我装了又卸、卸了又装。Open WebUI、ChatGPT 桌面版、各家厂商自己的客户端……每一个都差点意思。要么只支持自家模型，要么没法给文档做 RAG，要么装个 agent 还得倒腾半天。

AnythingLLM 把这些问题一锅端了。不是又一个套壳聊天框，是一个真正能跑在你本地的「AI 生产力中心」——文档问答、AI Agent、MCP 协议、多用户、多模型支持，全塞进一个 Docker 镜像里。

🚀 一分钟上手

一个命令拉起整个服务：

docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v anythingllm_data:/app/server/storage \
  -e STORAGE_DIR=/app/server/storage \
  mintplexlabs/anythingllm

打开 http://localhost:3001，第一步选 LLM 后端——Ollama、OpenAI、Claude、DeepSeek、Gemini……支持 30+ 种提供商。选完就能直接聊。

默认用 LanceDB 做向量库，零配置。想换 PGVector 或 Pinecone 也随时切。

🧠 核心玩法拆解

💬 文档 RAG

拖 PDF、TXT、DOCX 甚至代码文件进去，AnythingLLM 自动做 embedding 存到向量库。问它文档里的内容，带来源引用，不会瞎编。

# 通过 API 也可以用
curl -X POST http://localhost:3001/api/v1/workspace/default/chat \
  -H "Content-Type: application/json" \
  -d '{
    "message": "这份文档的核心观点是什么？",
    "mode": "query"
  }'

🤖 AI Agent

内置 Agent 系统，支持自定义工具。你可以让 Agent 联网搜索、执行代码、调用 API。最骚的是它的智能工具选择——同时挂几十个工具，每次只挑需要的几个调用，token 能省 80%。

🔌 MCP 兼容

AnythingLLM 原生支持 MCP（Model Context Protocol），GitHub MCP、Playwright MCP、飞书 MCP……任你接。

# 在设置里添加 MCP 服务器
# 比如接上 GitHub MCP
{
  "name": "github-mcp",
  "command": "npx",
  "args": ["@modelcontextprotocol/server-github"],
  "env": {
    "GITHUB_TOKEN": "ghp_xxx"
  }
}

👥 多用户 & 权限

Docker 版自带多用户支持和权限管理。给团队搭一个私有的 AI 平台，每个人用自己偏好的模型，共享文档库但互不干扰。

🛳 裸机部署

不想用 Docker？也有 bare metal 方案：

git clone https://github.com/Mintplex-Labs/anything-llm.git
cd anything-llm
yarn setup
# 编辑 server/.env.development
yarn dev:server
yarn dev:frontend
yarn dev:collector

踩坑记录

2. 大文档第一次解析慢 —— 头一回跑 embedding 要看文档大小，之后查询就是毫秒级

3. MCP 服务器注意安全 —— 别连不信任的 MCP，它能在你本地跑命令

要点总结

想搭个私有 AI 平台的，AnythingLLM 是目前最省事的方案——不用折腾前端后端，pull 一个镜像就完了。