我已经将S3中的大量数据加载到hdfs中,然后将数据插入到impala中的表中。

然后,我对这些数据进行了查询,并希望将这些结果返回到S3中。

我正在使用带impala 1.2.4的Amazon EMR。如果不可能直接将查询结果返回到S3,是否有选项可以将数据返回到hdfs,然后又有一些方法如何从那里将数据发送回S3?

我搞砸了impala-shell -o filename选项,但这似乎只适用于本地linux文件系统。

我以为这是一种常见的情况,但是在查找有关将查询结果保存到任何地方的任何信息时遇到了麻烦。

任何指针表示赞赏。

最佳答案

为了补充上述知识,我包括使用以下命令将查询结果写入具有定界符的文件中的命令,如我们使用 --output_delimeter 选项以及通过使用该选项所声明的那样
-删除的,实际上会关闭默认的制表符分隔符选项。

  impala-shell -q "query " --delimited   --output_delimiter='\001'  --print_header -o 'filename'

09-26 18:27