DSS调试通过的HQL任务，提交到schedulis后执行失败

[subaisubai]

DSS调试通过的HQL任务，提交到schedulis后执行失败。
报错如下：
ERROR Job with execId-nodeexecution_hadoop_hive_4 + subJobId : 110 execute failed,21304, Task is Failed,errorMsg: errCode: 12003 ,desc: h13:9101_9 Failed to async get EngineNode AMErrorException: errCode: 30001 ,desc: Failed to create engineResource ,ip: h13 ,port: 9101 ,serviceKind: linkis-cg-linkismanager ,ip: h13 ,port: 9104 ,serviceKind: linkis-cg-entrance

查看linkis-cg-engineplugin.log发现，schedulis运行任务时选取的hive版本是2.3.3，导致报“No plugin found hive-2.3.3”。

但是安装dss时，已经在config.sh中配置了HIVE_VERSION=3.1.2，linkis的配置文件linkis.properties也配置了wds.linkis.hive.engine.version=3.1.2。为什么linkis-cg-engineplugin.log中显示任务的用的hive版本还是2.3.3呢？

[utopianet]

可以尝试修改以下文件，编译相应模块，并替换所有同名文件。
linkis-computation-governance/linkis-manager/label-common/src/main/java/org/apache/linkis/manager/label/conf/LabelCommonConfig.java
public static final CommonVars HIVE_ENGINE_VERSION =
CommonVars.apply("wds.linkis.hive.engine.version", "3.1.2");

linkis-computation-governance/linkis-computation-governance-common/src/main/scala/org/apache/linkis/governance/common/conf/GovernaceCommonConf.scala
val HIVE_ENGINE_VERSION = CommonVars("wds.linkis.hive.engine.version", "3.1.2")

[subaisubai]

试了一下，问题依然存在。

[casionone]

linkis 官网当前默认支持使用的hive是2.3.3，如果环境使用的hive版本相差不大得话，应该都能支持。
但是如果差别比价大，像3.x的版本，最好推荐重新编译

1. 修改hive引擎依赖 重新编译hive引擎包 https://linkis.apache.org/zh-CN/docs/1.1.3/development/linkis-compile-and-package#42-%E5%A6%82%E4%BD%95%E4%BF%AE%E6%94%B9-linkis-%E4%BE%9D%E8%B5%96%E7%9A%84-sparkhive-%E7%89%88%E6%9C%AC

2. 安装hive引擎包
   https://linkis.apache.org/zh-CN/docs/1.1.3/deployment/engine-conn-plugin-installation

3. 修改配置中配置的默认引擎版本参数

[subaisubai]

谢谢。是按这个步骤操作的。但仍然有问题，另外我使用的版本信息是：linkis 1.1.1，DSS master分支，schedulis 0.7.0

[ruY9527]

谢谢。是按这个步骤操作的。但仍然有问题，另外我使用的版本信息是：linkis 1.1.1，DSS master分支，schedulis 0.7.0

你好,如果hive在script和dss是可以运行的,在schedulis 中找不到正确的版本,可以采用如下临时方案尝试下
在hive/spark下的dist和plugin,创建官方的默认版本文件夹,将你想运行的正确版本包给全部copy到默认版本下,然后重启下linkis服务或者linkis插件服务.

[subaisubai]

用这个方法解决了，谢谢。