AnythingLLM｜开箱即用的开源私有 AI 平台，把 RAG、Agent、知识库全部私有化

14次阅读

项目地址：https://github.com/Mintplex-Labs/anything-llm

现在本地大模型、RAG 知识库、AI Agent 越来越火，但很多工具上手门槛高：要自己搭向量库、调切分逻辑、对接 LLM、写前端界面，整套链路折腾起来耗费大量时间。而 AnythingLLM 就是为了解决这个痛点而生的一站式开源 AI 应用，由 Mintplex‑Labs 开发，MIT 开源协议，让普通人、团队都可以快速搭建属于自己的私有 AI 知识库与智能 Agent 环境。

什么是 AnythingLLM

AnythingLLM 是一套全栈 AI 应用，主打本地优先、私有化部署，整合文档解析、向量化检索 RAG、多模型对接、AI 智能体、多用户权限管理，不需要从零编写代码，即可打造私有版 ChatGPT，能够和你自己的文档对话。

它的核心理念：Stop renting your intelligence. Own it，也就是不要租用别人的 AI 能力，把数据、知识、推理全部掌握在自己手里，文档、对话记录可以完全不流出你的设备或内网服务器。

它有两种主流运行形态：

桌面客户端（Desktop）：Windows/Mac/Linux 一键安装，适合个人使用，完全离线运行，无账号注册，不支持多用户，数据全部保存在本机。
Docker 容器部署：用于服务器自托管，支持多用户、角色权限、网页嵌入聊天组件，适合企业团队使用，可部署在内网、私有云环境中。

核心能力亮点

📚强大的 RAG 文档知识库

支持 PDF、Word、TXT、网页链接、音频转录、YouTube 链接等多种数据源导入。
使用Workspace（工作空间）做知识隔离，不同工作空间独立文档、独立对话上下文，你可以分别建立工作、学习、项目知识库，互不干扰，回答附带原文引用溯源，方便核对信息来源。
内置向量数据库，也可以对接外部向量库，不用单独部署一套向量服务，开箱即用 RAG 全链路。

🤖丰富的 AI Agent 能力

无代码 Agent 可视化搭建，不用写复杂 Prompt，即可构建自定义智能体；兼容 MCP 协议，扩展工具能力。
Agent 可以完成网页浏览、信息检索、数据库查询、定时任务执行、记忆管理等能力，大幅度拓展 AI 的边界，还支持智能技能选择，降低 Token 消耗最高可达 80%。
内置会议助手，本地完成会议录音转写、自动生成摘要、行动项，录音数据不会上传云端，保护会议隐私。

🔌极强的模型兼容性

不绑定特定大模型，几乎兼容市面上主流模型后端：

本地模型：Ollama、LM Studio、llama.cpp，支持 GGUF 格式开源模型，CPU/NVIDIA/AMD 显卡均可运行本地推理。
云端 API：OpenAI、Anthropic 以及所有兼容 OpenAI 接口的大模型服务。
支持多模态，可上传图片进行问答；支持动态模型路由，根据规则自动选择最合适的模型处理对话请求。

👥团队与二次开发能力

Docker 版本支持多用户、角色权限管控，适合企业内部多人协作使用，不同成员访问隔离的知识库。
提供可嵌入网页的聊天组件，简单脚本即可把知识库问答机器人部署到自己网站。
开放 REST API，便于和内部业务系统做集成对接，MIT 协议，可自由二次修改、私有化部署商用。

适合哪些使用场景

个人本地知识库 论文、笔记、电子书、技术文档导入本地，离线进行问答总结，不需要把私有资料上传第三方 AI 平台，保护个人资料隐私，做阅读辅助、资料整理。
企业内部私有知识库 把产品手册、合同、内部文档、技术资料构建内网知识库，数据不出企业服务器，满足合规要求，员工快速查询内部资料，替代传统文档翻阅模式。
网站嵌入问答机器人 把产品文档、FAQ 导入 AnythingLLM，生成网页挂件，快速实现网站智能客服，所有逻辑托管在自己服务器，不依赖第三方 SaaS 客服系统。
本地 AI Agent 实验 不需要复杂开发，可视化搭建 Agent，测试网页检索、定时任务、工具调用等能力，做本地 AI 自动化工作流。