相同job.json的多次执行结果不同，部分成功，部分报错：“[DataX插件安装错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]。 - DataX不能找到插件[mysqlreader]的配置”

[pd-java]

No description provided.

[Y-evil]

1. 启动DataX.
2. 执行任务Job,在这个任务执行期间不执行其他任务. ---- 重要
3. 执行完成后关闭DataX.

每次任务执行都严格按照这3步.看下还报错吗.

如何严格按照以上3步操作,"DataX不能找到插件[mysqlreader]的配置"这个异常其实不太常见,出现这个异常是在任务/框架的初始化(或前期)检测到的.即DataX找不到你配置的reader,可能你readername写错了,或者你项目中没有mysqlreader.这两个原因都太低级所以说不常见.

如果你没严格按照第二条运行DataX,即多个任务同时执行了,那这个异常就是个大概率发生的事件.
问题发生在datax-core中的LoadUtil中.
但也不能说是DataX的问题,毕竟开源的就是单机版本的,单机版他的逻辑就是不能多个任务在同一个JVM中同时运行(也不是严格不行).

[Y-evil]

推荐下Apache Inlong这个开源项目.这个项目有些地方和DataX很相似,用过DataX入手的话不是太困难.

毕竟人家社区有人维护,就这一点就比这个强多了.

[pd-java]

1. 启动DataX.
2. 执行任务Job,在这个任务执行期间不执行其他任务. ---- 重要
3. 执行完成后关闭DataX.

每次任务执行都严格按照这3步.看下还报错吗.

如何严格按照以上3步操作,"DataX不能找到插件[mysqlreader]的配置"这个异常其实不太常见,出现这个异常是在任务/框架的初始化(或前期)检测到的.即DataX找不到你配置的reader,可能你readername写错了,或者你项目中没有mysqlreader.这两个原因都太低级所以说不常见.

如果你没严格按照第二条运行DataX,即多个任务同时执行了,那这个异常就是个大概率发生的事件. 问题发生在datax-core中的LoadUtil中. 但也不能说是DataX的问题,毕竟开源的就是单机版本的,单机版他的逻辑就是不能多个任务在同一个JVM中同时运行(也不是严格不行).

非常感谢，我出现的问题应该是没有遵守第2条规则

[duhanmin]

#2154

我这个解决方案可以保证不报错
但是JobContainer里面的任务数量监控数据是错误的