我的工作很糟糕,只需要执行一次操作即可。
首先,shell操作以编程方式找到存储在hdfs上的某些sql脚本文件。
然后尝试在impala上运行每个这些sql脚本。

由于我想运行的SQL脚本列表是事先未知的,因此无法作为<file>参数传递给oozie操作,是否可以运行impala-shell并为其提供hdfs路径而不是linux路径?

最佳答案

Impala Shell可以接受来自STDIN的查询文本。如here所述,选项-f


因此,在您的情况下,您的shell脚本可以简单地执行以下操作

$ hdfs dfs -cat <hdfs_file_name> | impala-shell -i <impala_daemon> -f -

关于shell - 将HDFS上的脚本文件传递到Impala-shell,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/57374651/

10-16 02:32