当前位置：首页 > 数据库 > 正文内容

DolphinScheduler JavaTask动态传参秘籍：轻松完成使命间数据活动

邻居的猫1个月前 (12-09)数据库288

Apache DolphinScheduler的JavaTask能够经过在使命履行日志中输出特定格局的参数来支撑OUT参数的下流传输，经过捕捉日志并将其作为参数传递给下流使命。这种机制答应使命间的数据活动和通讯，增强了工作流的灵活性和动态性。

那具体要怎么做呢？本文将进行具体的解说。

0 修正一行源码

org.apache.dolphinscheduler.plugin.task.java.JavaTask

file

1、针对JAVA类

流程界说图

file

1.1、javaTaskForClass设置

file

1.2、taskA设置

file

1.3、taskA输出

INFO] 2024-07-11 21:38:46.121 +0800 - Set taskVarPool: [{"prop":"output","direct":"IN","type":"VARCHAR","value":"123"}] successfully
[INFO] 2024-07-11 21:38:46.121 +0800 - ***********************************************************************************************
[INFO] 2024-07-11 21:38:46.121 +0800 - *********************************  Execute task instance  *************************************
[INFO] 2024-07-11 21:38:46.122 +0800 - ***********************************************************************************************
[INFO] 2024-07-11 21:38:46.122 +0800 - Final Shell file is: 
[INFO] 2024-07-11 21:38:46.122 +0800 - ****************************** Script Content *****************************************************************
[INFO] 2024-07-11 21:38:46.122 +0800 - #!/bin/bash
BASEDIR=$(cd `dirname $0`; pwd)
cd $BASEDIR
source /etc/profile
export HADOOP_HOME=${HADOOP_HOME:-/home/hadoop-3.3.1}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
export SPARK_HOME=${SPARK_HOME:-/home/spark-3.2.1-bin-hadoop3.2}
export PYTHON_HOME=${PYTHON_HOME:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/home/hive-3.1.2}
export FLINK_HOME=/home/flink-1.18.1
export DATAX_HOME=${DATAX_HOME:-/opt/soft/datax}
export SEATUNNEL_HOME=/opt/software/seatunnel
export CHUNJUN_HOME=${CHUNJUN_HOME:-/opt/soft/chunjun}

export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:$PATH
echo 123
[INFO] 2024-07-11 21:38:46.123 +0800 - ****************************** Script Content *****************************************************************
[INFO] 2024-07-11 21:38:46.123 +0800 - Executing shell command : sudo -u root -i /tmp/dolphinscheduler/exec/process/root/13850571680800/14237629094560_9/2095/1689/2095_1689.sh
[INFO] 2024-07-11 21:38:46.127 +0800 - process start, process id is: 884510
[INFO] 2024-07-11 21:38:48.127 +0800 -  -> 
    123
[INFO] 2024-07-11 21:38:48.128 +0800 - process has exited. execute path:/tmp/dolphinscheduler/exec/process/root/13850571680800/14237629094560_9/2095/1689, processId:884510 ,exitStatusCode:0 ,processWaitForStatus:true ,processExitValue:0

2、针对JAR

2.1、jar包封装示例

  • 2.1.1、pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>demo</groupId>
  <artifactId>java-demo</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>java-demo</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
  </dependencies>

  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>3.2.4</version>
        <executions>
          <execution>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>
              <artifactSet>
                <excludes>
                  <exclude>com.google.code.findbugs:jsr305</exclude>
                  <exclude>org.slf4j:*</exclude>
                  <exclude>log4j:*</exclude>
                  <exclude>org.apache.hadoop:*</exclude>
                </excludes>
              </artifactSet>
              <filters>
                <filter>
                  <!-- Do not copy the signatures in the META-INF folder.
                  Otherwise, this might cause SecurityExceptions when using the JAR. -->
                  <artifact>*:*</artifact>
                  <excludes>
                    <exclude>META-INF/*.SF</exclude>
                    <exclude>META-INF/*.DSA</exclude>
                    <exclude>META-INF/*.RSA</exclude>
                  </excludes>
                </filter>
              </filters>
              <transformers combine.children="append">
                <transformer
                        implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                  <mainClass>demo.Demo</mainClass>
                </transformer>
              </transformers>
            </configuration>
          </execution>
        </executions>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>
  • 2.1.2、demo.Demo类具体内容
package demo;

public class Demo {

    public static void main(String[] args) {
        System.out.println("${setValue(output=123)}");
    }
}
  • 2.1.3、上传jar到资源中心

mvn clean package，将编译好的java-demo-1.0-SNAPSHOT.jar上传到资源中心，

2.2、流程界说图

file

2.3、javaTask

file

2.4、testTask

file

2.5、testTask内容输出

[INFO] 2024-07-11 21:56:05.324 +0800 - Set taskVarPool: [{"prop":"output","direct":"IN","type":"VARCHAR","value":"123"}] successfully
[INFO] 2024-07-11 21:56:05.324 +0800 - ***********************************************************************************************
[INFO] 2024-07-11 21:56:05.324 +0800 - *********************************  Execute task instance  *************************************
[INFO] 2024-07-11 21:56:05.324 +0800 - ***********************************************************************************************
[INFO] 2024-07-11 21:56:05.325 +0800 - Final Shell file is: 
[INFO] 2024-07-11 21:56:05.325 +0800 - ****************************** Script Content *****************************************************************
[INFO] 2024-07-11 21:56:05.325 +0800 - #!/bin/bash
BASEDIR=$(cd `dirname $0`; pwd)
cd $BASEDIR
source /etc/profile
export HADOOP_HOME=${HADOOP_HOME:-/home/hadoop-3.3.1}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
export SPARK_HOME=${SPARK_HOME:-/home/spark-3.2.1-bin-hadoop3.2}
export PYTHON_HOME=${PYTHON_HOME:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/home/hive-3.1.2}
export FLINK_HOME=/home/flink-1.18.1
export DATAX_HOME=${DATAX_HOME:-/opt/soft/datax}
export SEATUNNEL_HOME=/opt/software/seatunnel
export CHUNJUN_HOME=${CHUNJUN_HOME:-/opt/soft/chunjun}

export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:$PATH
echo 123
[INFO] 2024-07-11 21:56:05.325 +0800 - ****************************** Script Content *****************************************************************
[INFO] 2024-07-11 21:56:05.325 +0800 - Executing shell command : sudo -u root -i /tmp/dolphinscheduler/exec/process/root/13850571680800/14243296570784_1/2096/1691/2096_1691.sh
[INFO] 2024-07-11 21:56:05.329 +0800 - process start, process id is: 885572
[INFO] 2024-07-11 21:56:07.329 +0800 -

转载自Journey
原文链接：https://segmentfault.com/a/1190000045054384

本文由 白鲸开源 供给发布支撑！

扫描二维码推送至手机访问。

版权声明：本文由51Blog发布，如需转载请注明出处。

本文链接：https://www.51blog.vip/?id=569

标签: 大数据
分享给朋友：
返回列表

上一篇：VTS：根据Apache SeaTunnel的开源向量数据搬迁东西

下一篇：在云上轻松布置达梦数据库

“DolphinScheduler JavaTask动态传参秘籍：轻松完成使命间数据活动” 的相关文章

MySQL主从中仿制账号密码能够加密吗？

MySQL主从中仿制账号密码能够加密吗？

建立MySQL主从仿制后，你会发现仿制账号的暗码是明文存储在mysq.mysql.slave_master_info这张体系表的User_password字段傍边，前期MySQL版别中，账号暗码存储在master.info文件中。如下事例所示： mysql> select * from mys...

VTS：根据Apache SeaTunnel的开源向量数据搬迁东西

VTS：根据Apache SeaTunnel的开源向量数据搬迁东西

导言 VTS（Vector Transport Service），全称向量传输服务，是一个由Zilliz开发的专心于向量和非结构化数据搬迁的开源东西。VTS的中心特色在于其根据Apache SeaTunnel开发，这一现实使其在数据处理和搬迁方面具有明显的优势。Apache SeaTunnel作为一...

zookeeper基础知识共享(一)

zookeeper基础知识共享(一)

写在前面 今日来学习Zookeeper部分的常识，之后会学习hbase的常识。 Zookeeper简介 Zookeeper是一个高效的分布式和谐服务，能够供给以下功用： 装备信息办理 命名 分布式同步 集群办理 数据库切换等服务 它不合适用来存储很多信息，而是用于存储一些装备信息、发布与订阅等少数数...

流放之路数据库,全面解析游戏资料与攻略

1. 流放之路编年史 这是一个全面的数据库，包含游戏中的物品、技能、挑战、赛季、残暴等内容。你可以在这里查看最新的更新公告，参与讨论，或使用PoB Code生成装备和技能。2. 流放之路BD库 踩蘑菇社区 这里收集了各版本BD合集，包含国际服、台服和国服的BD，以...

大数据生命周期,大数据生命周期概述

大数据生命周期,大数据生命周期概述

大数据生命周期是指从数据的产生、收集、存储、处理、分析、共享到消亡的整个过程。这个过程通常包括以下几个阶段：1. 数据产生：数据的产生可以是实时的，也可以是定期的。例如，社交媒体上的帖子、交易记录、传感器数据等都是数据产生的来源。2. 数据收集：数据收集是指将分散的数据源中的数据集中到一个地方，以便...

mysql时间戳转换日期格式, 时间戳与日期格式概述

mysql时间戳转换日期格式, 时间戳与日期格式概述

在MySQL中，你可以使用 `DATE_FORMAT` 函数来将时间戳转换为日期格式。`DATE_FORMAT` 函数允许你指定日期和时间的显示格式。下面是一个基本的例子，展示了如何将一个时间戳转换为 `YYYYMMDD` 格式的日期：```sqlSELECT DATE_FORMAT AS form...

Copyright © 2024-2028 51blog All Rights Reserved

XML地图