哈喽各位大数据、运维、开发小伙伴👋
Apache DolphinScheduler 是目前主流的开源大数据工作流调度平台,轻量化、易上手、可视化强。很多同学本地学习、测试环境、小型业务调度,不需要搭建复杂的集群(Master/Worker/ZK/独立DB)。
Standalone 单机版 就是官方专为轻量化场景推出的版本:内置数据库、内置注册中心、单容器运行,开箱即用。
但是!官方 standalone 镜像默认只有基础Shell任务,MySQL、DataX、Spark、Flink、Hive、S3 等常用数据源和任务插件,需要手动通过 install-plugins.sh安装。
本篇博文给大家带来从零部署 + 插件安装(在线/离线)+ 验证 + 排错 全套流程,版本基于最新稳定版 3.4.0,全程实操可直接落地。
一、Standalone 模式优势与适用场景
✅ 优势
- 无依赖:无需 Zookeeper、无需单独 MySQL 数据库
- 架构极简:Master+Worker+API+UI 一体化
- 部署极速:一条命令启动
- 数据持久化:支持目录挂载,重启不丢数据
✅ 适用场景
- 个人学习、功能测试、功能验证
- 开发环境、测试环境轻量调度
- 小体量业务定时任务、数据同步调度
⚠️ 不建议用于高可用、高并发核心生产集群,核心生产建议使用集群模式部署。
二、环境前置条件
检查 Docker 环境:
docker -v
三、Docker 部署 DolphinScheduler 3.4.0 Standalone
1. 拉取官方镜像
docker pull apache/dolphinscheduler-standalone-server:3.4.0
2. 创建本地持久化目录
防止容器删除/重启后任务数据、日志丢失:
mkdir -p ~/dolphinscheduler/data ~/dolphinscheduler/logs
3. 启动容器
docker run -d \
--name dolphinscheduler-standalone \
-p 12345:12345 \
-v ~/dolphinscheduler/data:/opt/dolphinscheduler/data \
-v ~/dolphinscheduler/logs:/opt/dolphinscheduler/logs \
--restart always \
apache/dolphinscheduler-standalone-server:3.4.0
4. 查看启动状态
docker ps | grep dolphinscheduler
首次启动需要 30s~1min 初始化数据库和服务,耐心等待。
四、访问 Web UI 控制台
访问地址:
本地:http://localhost:12345
服务器:http://你的服务器IP:12345
默认账号密码:
- 用户名:admin
- 密码:dolphinscheduler123
五、核心进阶:安装全量插件(install-plugins.sh)
很多新手踩坑:刚部署完只能跑 Shell 任务,没有 MySQL、DataX、Spark、Flink、Hive 任务类型。
原因:Standalone 镜像默认仅内置基础插件,所有数据源、大数据组件插件需要手动安装。
官方提供一键插件安装脚本:install-plugins.sh
1. 进入容器内部
docker exec -it dolphinscheduler-standalone bash
容器默认工作目录:/opt/dolphinscheduler
2. 执行在线插件安装(外网环境推荐)
重点:脚本版本必须与镜像版本完全一致,本文为 3.4.0
bash ./bin/install-plugins.sh 3.4.0
脚本会自动完成:
- 下载官方
dolphinscheduler-plugins-3.4.0.tar.gz - 自动解压至
plugins目录 - 自动清理安装包
3. 离线环境插件安装(无外网服务器)
内网环境无法联网下载,采用「本地手动上传」方案:
步骤1:本地下载对应版本插件包
下载地址:https://archive.apache.org/dist/dolphinscheduler/3.4.0/dolphinscheduler-plugins-3.4.0.tar.gz
步骤2:上传插件包到容器
docker cp dolphinscheduler-plugins-3.4.0.tar.gz dolphinscheduler-standalone:/opt/dolphinscheduler/
步骤3:进入容器手动解压安装
docker exec -it dolphinscheduler-standalone bash
mkdir -p plugins
tar -zxvf dolphinscheduler-plugins-3.4.0.tar.gz -C ./plugins/
4. 重启服务使插件生效
必须重启容器,插件才能加载生效
# 先退出容器
exit
# 宿主机重启容器
docker restart dolphinscheduler-standalone
5. 验证插件安装成功
docker exec -it dolphinscheduler-standalone bash
ls ./plugins/
看到如下目录即安装成功:
- datasource-plugin-mysql
- datasource-plugin-postgresql
- task-datax
- task-spark / task-flink / task-hive 等
此时刷新 Web UI,新建任务即可看到 MySQL、DataX、大数据组件任务类型。
六、常见报错与问题解决
问题1:插件下载404/超时
原因:版本号写错、网络不通
解决:保证脚本版本与镜像版本一致,内网使用离线手动安装方案
问题2:install-plugins.sh 无执行权限
chmod +x ./bin/install-plugins.sh
bash ./bin/install-plugins.sh 3.4.0
问题3:插件加载失败、任务类型不显示
大概率未重启容器,或插件解压目录错误,重新解压并重启即可。
问题4:端口占用无法启动
修改启动命令端口映射,例如 -p 12346:12345,访问使用新端口。
七、日常运维常用命令
# 查看实时日志
docker logs -f dolphinscheduler-standalone
# 重启服务
docker restart dolphinscheduler-standalone
# 停止服务
docker stop dolphinscheduler-standalone
# 进入容器
docker exec -it dolphinscheduler-standalone bash
八、总结
1. DolphinScheduler Standalone 是学习、测试、轻量调度的最优选择,一条 Docker 命令即可完成部署,零复杂组件依赖。
2. 默认无任何第三方插件,必须通过 install-plugins.sh 版本号 安装 MySQL、DataX、Spark、Flink 等核心插件。
3. 外网用在线安装、内网用离线手动解压,安装后务必重启容器生效。
4. 全程数据挂载,保证容器重建不丢失任务与配置。
后续会更新:数据源配置、DataX数据同步、定时工作流实战、权限配置等教程,欢迎点赞收藏关注✨