DolphinScheduler Standalone(3.4.0)+ 插件完整安装教程

12次阅读
没有评论

哈喽各位大数据、运维、开发小伙伴👋

Apache DolphinScheduler 是目前主流的开源大数据工作流调度平台,轻量化、易上手、可视化强。很多同学本地学习、测试环境、小型业务调度,不需要搭建复杂的集群(Master/Worker/ZK/独立DB)。

Standalone 单机版 就是官方专为轻量化场景推出的版本:内置数据库、内置注册中心、单容器运行,开箱即用。

但是!官方 standalone 镜像默认只有基础Shell任务,MySQL、DataX、Spark、Flink、Hive、S3 等常用数据源和任务插件,需要手动通过 install-plugins.sh安装。

本篇博文给大家带来从零部署 + 插件安装(在线/离线)+ 验证 + 排错 全套流程,版本基于最新稳定版 3.4.0,全程实操可直接落地。

一、Standalone 模式优势与适用场景

✅ 优势

  • 无依赖:无需 Zookeeper、无需单独 MySQL 数据库
  • 架构极简:Master+Worker+API+UI 一体化
  • 部署极速:一条命令启动
  • 数据持久化:支持目录挂载,重启不丢数据

✅ 适用场景

  • 个人学习、功能测试、功能验证
  • 开发环境、测试环境轻量调度
  • 小体量业务定时任务、数据同步调度

⚠️ 不建议用于高可用、高并发核心生产集群,核心生产建议使用集群模式部署。

二、环境前置条件

  • Linux / Mac / Windows WSL2
  • Docker 版本 ≥ 20.10
  • 服务器开放 12345 端口(UI端口)

检查 Docker 环境:

docker -v

三、Docker 部署 DolphinScheduler 3.4.0 Standalone

1. 拉取官方镜像

docker pull apache/dolphinscheduler-standalone-server:3.4.0

2. 创建本地持久化目录

防止容器删除/重启后任务数据、日志丢失:

mkdir -p ~/dolphinscheduler/data ~/dolphinscheduler/logs

3. 启动容器

docker run -d \
  --name dolphinscheduler-standalone \
  -p 12345:12345 \
  -v ~/dolphinscheduler/data:/opt/dolphinscheduler/data \
  -v ~/dolphinscheduler/logs:/opt/dolphinscheduler/logs \
  --restart always \
  apache/dolphinscheduler-standalone-server:3.4.0

4. 查看启动状态

docker ps | grep dolphinscheduler

首次启动需要 30s~1min 初始化数据库和服务,耐心等待。

四、访问 Web UI 控制台

访问地址:

本地:http://localhost:12345

服务器:http://你的服务器IP:12345

默认账号密码:

  • 用户名:admin
  • 密码:dolphinscheduler123

五、核心进阶:安装全量插件(install-plugins.sh)

很多新手踩坑:刚部署完只能跑 Shell 任务,没有 MySQL、DataX、Spark、Flink、Hive 任务类型

原因:Standalone 镜像默认仅内置基础插件,所有数据源、大数据组件插件需要手动安装

官方提供一键插件安装脚本:install-plugins.sh

1. 进入容器内部

docker exec -it dolphinscheduler-standalone bash

容器默认工作目录:/opt/dolphinscheduler

2. 执行在线插件安装(外网环境推荐)

重点:脚本版本必须与镜像版本完全一致,本文为 3.4.0

bash ./bin/install-plugins.sh 3.4.0

脚本会自动完成:

  • 下载官方 dolphinscheduler-plugins-3.4.0.tar.gz
  • 自动解压至 plugins 目录
  • 自动清理安装包

3. 离线环境插件安装(无外网服务器)

内网环境无法联网下载,采用「本地手动上传」方案:

步骤1:本地下载对应版本插件包

下载地址:https://archive.apache.org/dist/dolphinscheduler/3.4.0/dolphinscheduler-plugins-3.4.0.tar.gz

步骤2:上传插件包到容器

docker cp dolphinscheduler-plugins-3.4.0.tar.gz dolphinscheduler-standalone:/opt/dolphinscheduler/

步骤3:进入容器手动解压安装

docker exec -it dolphinscheduler-standalone bash
mkdir -p plugins
tar -zxvf dolphinscheduler-plugins-3.4.0.tar.gz -C ./plugins/

4. 重启服务使插件生效

必须重启容器,插件才能加载生效

# 先退出容器
exit

# 宿主机重启容器
docker restart dolphinscheduler-standalone

5. 验证插件安装成功

docker exec -it dolphinscheduler-standalone bash
ls ./plugins/

看到如下目录即安装成功:

  • datasource-plugin-mysql
  • datasource-plugin-postgresql
  • task-datax
  • task-spark / task-flink / task-hive 等

此时刷新 Web UI,新建任务即可看到 MySQL、DataX、大数据组件任务类型。

六、常见报错与问题解决

问题1:插件下载404/超时

原因:版本号写错、网络不通

解决:保证脚本版本与镜像版本一致,内网使用离线手动安装方案

问题2:install-plugins.sh 无执行权限

chmod +x ./bin/install-plugins.sh
bash ./bin/install-plugins.sh 3.4.0

问题3:插件加载失败、任务类型不显示

大概率未重启容器,或插件解压目录错误,重新解压并重启即可。

问题4:端口占用无法启动

修改启动命令端口映射,例如 -p 12346:12345,访问使用新端口。

七、日常运维常用命令

# 查看实时日志
docker logs -f dolphinscheduler-standalone

# 重启服务
docker restart dolphinscheduler-standalone

# 停止服务
docker stop dolphinscheduler-standalone

# 进入容器
docker exec -it dolphinscheduler-standalone bash

八、总结

1. DolphinScheduler Standalone 是学习、测试、轻量调度的最优选择,一条 Docker 命令即可完成部署,零复杂组件依赖。

2. 默认无任何第三方插件,必须通过 install-plugins.sh 版本号 安装 MySQL、DataX、Spark、Flink 等核心插件。

3. 外网用在线安装、内网用离线手动解压,安装后务必重启容器生效。

4. 全程数据挂载,保证容器重建不丢失任务与配置。

后续会更新:数据源配置、DataX数据同步、定时工作流实战、权限配置等教程,欢迎点赞收藏关注✨

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 0
评论(没有评论)
验证码