404P

404P

关注
发信
关注(28)粉丝(399)

真正让你明白Hive参数调优系列1：控制map个数与性能调优参数

     本系列几章系统地介绍了开发中Hive常见的用户配置属性（有时称为参数，变量或选项），并说明了哪些版本引入了哪些属性，常见有哪些属性的使用，哪些属性可以进行Hive调优，以及如何使用的问题。以及日常Hive开发中如何进行性能调优。

1.Hive有哪些参数，如何查看这些参数

  1. Hive自带的配置属性列表封装在HiveConfJava类中，因此请参阅该HiveConf.java文件以获取Hive版本中可用的配置属性的完整列表。具体可以下载hive.src通过eclipse查看。全部属性有上千个吧，一般Hive的自带属性都是以hive.开头的，每个属性且自带详细的描述信息，其次Hive官网也有，但是属性不是特别全。Hive官方参数网址真正让你明白Hive参数调优系列1：控制map个数与性能调优参数-LMLPHP
  2. Hive除了自身带了一些配置属性，因为其底层使用的是hadoop(HDFS,MR,YARN),所以有些HADOOP的配置属性Hive也可以使用，进行配置，但是有些则使用不了。比如mapred.max.split.size 就属于MR的参数，但是hive可以使用。

2.map个数的控制参数与性能调优

     很显然，对于这个控制每个map的split输入大小的参数，不是hive自带的参数，而是MR提供的参数，但是Hive可以通过set的形式配置使用，而且对于调优有很大的作用。但是这个参数实际上要配合HDFS的blocksize一起使用。下面以我们公司开发环境的默认配置参数。

-- 每个Map最大输入大小，
hive> set mapred.max.split.size;
mapred.max.split.size=256000000  这也是官方默认值
-- 每个Map最小输入大小
hive> set mapred.min.split.size;
mapred.min.split.size=10000000   这也是官方默认值
hive> set dfs.block.size;
dfs.block.size=134217728   我们集群默认hdfs的block块大小是128Mb，但注意这个参数通过hive设置更改实际没有用的，只能hdfs设置。

2.1数据准备，两张表

    如下进行两张表join，其中每张表的大小，hdfs上存储的文件总个数，以及每个文件的大小。

  1. 大表总共158749566行，文件总大小4.4G,存储个数22个文件，每个大小200Mb左右。
  2. 小表总共1979375 行，文件大小50.7Mb，存储个数2个文件，大小50Mb以内。
[finance@hadoop-client13-prd ~]$ hadoop fs -du  -h  hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d
206.7 M  hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d/000000_0.deflate
.....省略.................
hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d/000021_0.deflate
---------------------------------------------------------------------------------------
[finance@hadoop-client13-prd ~]$ hadoop fs -du  -h  hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/t_fgeics_company_liquidation_d_tmp
36.4 M  hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/t_fgeics_company_liquidation_d_tmp/000000_0.deflate
14.3 M  hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/t_fgeics_company_liquidation_d_tmp/000001_0.deflate

2.2两个表进行关联，其中小表在前，大表在后

2.2.1如下，运行如下代码，实现两个表进行关联。

set mapred.max.split.size=134217728;
set mapred.min.split.size=134217728;
drop table IF EXISTS fdm_tmp.company_liquidation_fgeics_company_ar_d_tmp;
create table fdm_tmp.company_liquidation_fgeics_company_ar_d_tmp
as
select
 a.id
,a.entid
,a.ancheyear
,b.liqmen
,b.ligprincipal
,a.regno
,a.tel
,a.postalcode
,a.dom
,a.email
,a.busst
,a.empnum
,a.name
,a.updated
,b.etl_time
from fdm_tmp.t_fgeics_company_liquidation_d_tmp  b
right join fdm_tmp.company_liquidation_fgeics_company_ar_d  a
on b.entid = a.entid;

Hadoop job information for Stage-1: number of mappers: 24; number of reducers: 17

结果分析：hive启动了24个map函数，17个reduce函数。在hadoop中，一般默认的split切片小于等于blocksize(128Mb),如果是小文件的话(未进行小文件的合并）则每个小文件启动一个map函数。而实际在hive中，并不是split的大小要小于等于blocksize，而是可以远大于blocksize。比如这里，4.4G文件表，按128Mb切片算的话，至少实际需要35个map，而实际只需要24个,平均每个map处理了187Mb的文件。这是为什么呢？此外这里明明设置了set mapred.max.split.size=134217728，每个map最大split块是 128Mb，而实际为什么参数没有用呢？网上有很多关于这方面的文章，但是几乎都是转载抄袭，没有任何深入理解，或者深入剖析决定map个数的原因。

3.案例演示决定map个数的因素

       其实决定map个数的因素有很多，比如文件是否压缩，压缩的后的文件是否支持切分，比如文件默认的inputfort格式，不同实现类的split算法也不同，那么map的个数调优方式也不同，下面按分类详细说明hive中决定map个数的因素与常见map调优的使用。

首先分类:处理的文件是否压缩，且压缩算法是否支持文件的切分

 如下我们公司，对于hive关于压缩的配置，使用了压缩，且使用的是默认的压缩算法是deflate方法。

hive>  set io.compression.codecs; --配置了哪些压缩算法
io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec
hive> set hive.exec.compress.output;
hive.exec.compress.output=true  --是否开启压缩
hive> set  mapreduce.output.fileoutputformat.compress.codec;  --使用的压缩算法
mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.DefaultCodec

我们知道hive中有些压缩算法是不支持文件切分的，如下我们使用的默认的deflate算法，就不支持文件切分。

真正让你明白Hive参数调优系列1：控制map个数与性能调优参数-LMLPHP

 3.1.文件使用了压缩，且压缩算法不支持文件切分

------------------------使用不同参数执行上面代码产生的map个数---------------------------------
--1.使用系统配置的默认值
set mapred.max.split.size  = 256000000; --
set mapred.min.split.size = 256000000;
Hadoop job information for Stage-1: number of mappers: 24; number of reducers: 17

--2.降低系统默认值
set mapred.max.split.size=134217728;
set mapred.min.split.size=134217728;
Hadoop job information for Stage-1: number of mappers: 24; number of reducers: 17

--3.调高系统默认值
set mapred.max.split.size=500000000;
set mapred.min.split.size=256000000;
Hadoop job information for Stage-1: number of mappers: 9; number of reducers: 17

--4.调高系统默认值
set mapred.max.split.size=1024000000;
set mapred.min.split.size=1024000000;
Hadoop job information for Stage-1: number of mappers:6 ; number of reducers: 17

       如上我们使用不同的参数配置，来运行上面同一段代码，看系统产生的map个数，细心的人会发现，当我们使用默认值是产生了24个map,平均每个map处理了187Mb文件，但当我们调低set mapred.max.split.size=134217728时(每个map最多处理128Mb)，相应的map个数并没有增加，这是为什么呢？

       关于这个问题就要说到决定map个数的首要因素：文件是否启动压缩，且压缩算法是否支持文件切分了。因为这里文件存储使用默认的deflate算法，不支持文件切分，所以设置的参数split.size=134217728没有生效。因为每个map处理的splitsize实际上要大于等于每个文件存储的大小。这里每个文件存储的大小200Mb左右，所以每个map处理的最小尺寸要大于200Mb。

      而当我们将set mapred.max.split.size=102400000设置的很大时，为什么又可以控制map个数了呢？因为deflate压缩算法虽然不支持文件切分，但是可以进行文件合并哇。从hive0.5开始就默认map前进行小文件合并了。如下，我们公司使用的也是默认的开启map前文件合并。但是注意即使这里支持文件合并，也是基于文件块的整个文件块合并，而不是基于blocksize的block合并。

hive> set hive.input.format; --hive0.5开始的默认值，这个值会影响map个数的控制
hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

尖叫提示1： 

         通过上面分析总结，当hive需要处理的文件是压缩，且压缩算法不支持文件切分的时候，决定map个数的因素主要是文件块实际存储的大小，如果文件块本身很大，比如500Mb左右，那么每个map处理的splitsize至少要是500Mb左右。这个时候我们不能人为通过参数降低每个map的splitsize来增加map个数，只能通过增加splitsize，减少map个数。

        但是一般经验来说，每个map处理的splitsize最好是128Mb(等于blocksize）,这样效率最高。所以这个时候如果我们想增加map个数，只能通过临时表或者insert ...select的形式，通过参数配置将文件块重新存储成较小的文件块，然后再进行处理。反之，如果文件块本身很小，那么我们可以通过增加splitsize来减少map，进而调优提高程序的运行效率。

尖叫总结1：

        如果hive处理的文件是压缩模式，且压缩模式不支持文件切分，那么这个时候我们只能通过控制参数来减少map个数，而不能通过配置参数来增加map个数，所以Hive对于压缩不可切分文件的调优有限。可以首先通过hadoop fs -du -s -h命令查看文件的存储大小结果，然后根据实际进行调优。常用的配置参数如下：

set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; --hive0.5开始就是默认值，执行map前进行小文件合并
----------------------------------------------------------------------
set mapred.max.split.size=256000000
set mapred.min.split.size=10000000
set mapred.min.split.size.per.node=8000000 --每个节点处理的最小split
set mapred.min.split.size.per.rack=8000000 --每个机架处理的最小slit.
------------------------------------------------------------------------
1.注意一般来说这四个参数的配置结果大小要满足如下关系。
max.split.size >= min.split.size >= min.size.per.node >= min.size.per.node

2.这四个参数的作用优先级分别如下
max.split.size <= min.split.size <= min.size.per.node <= min.size.per.node

比如如下，同样上面的代码，我们将其参数设置如下，发现只启动了12个map，故max.split.size没有起作用。
当四个参数设置矛盾时，系统会自动以优先级最高的参数为准，进行计算
set mapred.max.split.size=300000000;
set mapred.min.split.size.per.node=300000000;
set mapred.min.split.size.per.rack=300000000;
Hadoop job information for Stage-1: number of mappers: 12; number of reducers: 17

3.注意这四个参数可以选择性设置，可以选择性设置大小或者使用默认值，但仍遵循前两条规则。

3.2 文件未使用压缩，或压缩算法支持文件切分

        同样是上面那个4.4g文件，我们这个时候让其为非压缩模式，发现这个时候文件总大小为23.4G,存储为22个文件，平均每个文件大小都在1.1G左右。所以压缩有时候是个好东西。如下我们所有非压缩的性能测试基于此文件。

[finance]$ hadoop fs -count hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d
1           22        25154158871 hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d
-----------------------------------------------------------------------------------------------------------------------------------
[finance]$ hadoop fs -du -s -h hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d
23.4 G  hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d
-----------------------------------------------------------------------------------------------------------------------------------
[finance]$ hadoop fs -du -h hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d
1.1 G  hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d/000000_0
1.1 G  hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d/000001_0
...............................

3.2.1.若这时set hive.input.format为HiveInputFormat

hive> set hive.input.format; --从hive0.5就默认是CombineHiveInputFormat，所以这个用的不多
hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

   如果这时set hive.input.format为HiveInputFormat，这个时候有以下三个属性值来确定InputSplit的个数：

set mapred.map.tasks=2    --我们公司使用的是默认2
set mapred.max.split.size=256000000  --我们公司默认值
set mapred.min.split.size=10000000   ---我们公司默认值
set  dfs.block.size=134217728   --128Mb
----------------------------------------------------------------------------------------
1. goalSize：该值由 totalSize/numSplits  totlasize文件块大小，numslplits=mapred.map.tasks=2
2. minSize：由配置参数 mapred.min.split.size（或者新版本的mapreduce.input.fileinputformat.split.minsize）mapred.min.split.size=10000000
   决定的 InputFormat的最小长度，默认为1，我们公司默认值是
3.blockSize：HDFS 中的文件存储块block的大小，默认为128MB。

这三个参数决定一个 InputFormat 分片的最终的长度，计算方法如下：
splitSize = max{minSize,min{goalSize,blockSize}}

尖叫总结2:

     1.当hive处理的文件是非压缩或者压缩可切分，且hive.input.format为HiveInputFormat时，这个时候决定map个数的参数主要是splitSize = max{minSize,min{goalSize,blockSize}} ，只有这个时候一般map的splitsize小于等于blocksize（128Mb）。但其实这种方式现在企业实际开发中已经使用的很少了。

3.2.2.若hive.input.format为默认CombineHiveInputFormat

    1.如下，使用公司默认的map函数split参数，发现未压缩的23.4g的文件(22个）这里共使用了112个map函数，符合参数的设置结果set mapred.max.split.size=256000000  ;  23.4*1024/112=187Mb<256000000。

--使用默认配置参数，实现对非压缩文件的操作
set mapred.max.split.size=256000000  ;
set mapred.min.split.size=10000000;

drop table IF EXISTS fdm_tmp.company_liquidation_fgeics_company_ar_d_tmp;
create table fdm_tmp.company_liquidation_fgeics_company_ar_d_tmp
as
select
 a.id
,a.entid
,a.ancheyear
,b.liqmen
,b.ligprincipal
,a.regno
,a.tel
,a.postalcode
,a.dom
,a.email
,a.busst
,a.empnum
,a.name
,a.updated
,b.etl_time
from fdm_tmp.t_fgeics_company_liquidation_d_tmp  b
right join fdm_tmp.company_liquidation_fgeics_company_ar_d  a
on b.entid = a.entid;

Hadoop job information for Stage-1: number of mappers: 112; number of reducers: 85
Time taken: 152.679 seconds

   2.如下，将上面默认的参数对应调小，运行同样上面的代码，看map数是否有增加？ 很显然，我们通过设置max.split.size的值实现了增加map个数的功能。这里map的个数由122个数变成了199个，平均每个map处理数据120Mb左右。但是运行时间却变慢了很多，时间由153s变成了243s。所以map的split大小并不是要接近blocksize才高效，这主要跟集群的性能配置有关。

--将map的split参数最大值设置为128Mb.
set mapred.max.split.size=134217728 ;
set mapred.min.split.size=10000000;

Hadoop job information for Stage-1: number of mappers: 199; number of reducers: 85
Time taken: 243.038 seconds

  3.如下,将上面的默认参数增加，运行同样的代码，结果虽然我们将maxsplitsize设置的特别大，但是对应map的个数并没有对应的成倍减少，如果按最大值算应该在20多个map，而实际不是这样。这说明，光设置最大值是没有用的，这只是一个峰值，还有对应的设置最小值。

--只将max.split.size设置的特别大，min.split.size还是10Mb左右。
set mapred.max.split.size=1024000000;
set mapred.min.split.size= 10000000;
Hadoop job information for Stage-1: number of mappers: 106; number of reducers: 85

4.map的多个参数配合使用，精确控制map的个数 


--1.只将max.split.size设置的特别大，且将 min.split.size使用默认值，发现map个数没有成倍减少。
set mapred.max.split.size=1024000000;
set mapred.min.split.size=10000000;
Hadoop job information for Stage-1: number of mappers: 106; number of reducers: 85
------------------------------------------------------------------------------------
--2.同时将max.split.size设置的特别大，且将 min.split.size同时设置很大为256Mb左右
    但是发现map的个数并没有减少，还是和上面一样，这说明控制map的个数还有别的因素
set mapred.max.split.size=1024000000;
set mapred.min.split.size=256000000;
Hadoop job information for Stage-1: number of mappers: 106; number of reducers: 85
------------------------------------------------------------------------------------
---3.配合min.split.size.per.node使用，发现map个数仍然没有减少

set mapred.max.split.size=1024000000;
set mapred.min.split.size= 256000000;
set mapred.min.split.size.per.node=256000000;--默认值是800000
set mapred.min.split.size.per.rack=800000;---默认值
--------------------------------------------------------------------------------------
---4.配合min.split.size.per.rack使用，map个数精准减少了，每个map处理的数据在256和1024之间
Hadoop job information for Stage-1: number of mappers: 106; number of reducers: 85
set mapred.max.split.size=1024000000;
set mapred.min.split.size= 256000000;
set mapred.min.split.size.per.node=256000000;
set mapred.min.split.size.per.rack=256000000;

Hadoop job information for Stage-1: number of mappers: 88; number of reducers: 85

尖叫总结3：

       如果Hive处理的的文件为非压缩格式或者压缩可切分，且inputFormat为CombineHiveInputFormat时，则控制map个数是由以下四个参数起作用，关于这四个参数作用优先级与使用注意事项请参考如下。

mapred.min.split.size 或者 mapreduce.input.fileinputformat.split.minsize。
mapred.max.split.size 或者 mapreduce.input.fileinputformat.split.maxsize。
mapred.min.split.size.per.rack 或者 mapreduce.input.fileinputformat.split.minsize.per.rack。
mapred.min.split.size.per.node 或者 mapreduce.input.fileinputformat.split.minsize.per.node。

set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; --hive0.5开始就是默认值，执行map前进行小文件合并
----------------------------------------------------------------------
set mapred.max.split.size=256000000   --公司集群默认值
set mapred.min.split.size=10000000     --公司集群默认值
set mapred.min.split.size.per.node=8000000 --每个节点处理的最小split
set mapred.min.split.size.per.rack=8000000 --每个机架处理的最小slit.
------------------------------------------------------------------------
1.注意一般来说这四个参数的配置结果大小要满足如下关系。
max.split.size >= min.split.size >= min.size.per.node >= min.size.per.node

2.这四个参数的作用优先级分别如下
max.split.size <= min.split.size <= min.size.per.node <= min.size.per.node

比如如下，同样上面的代码，我们将其参数设置如下，发现只启动了12个map，故max.split.size没有起作用。
当四个参数设置矛盾时，系统会自动以优先级最高的参数为准，进行计算
set mapred.max.split.size=300000000;
set mapred.min.split.size.per.node=300000000;
set mapred.min.split.size.per.rack=300000000;
Hadoop job information for Stage-1: number of mappers: 12; number of reducers: 17

3.注意这四个参数可以选择性设置，可以选择性设置大小或者使用默认值，但仍遵循前两条规则。

       所以如果对于Hive调优，想通过控制map个数进行调优，首先确定集群是否启动了压缩，且压缩的算法是否直接文件切分，然后再确定集群配置的默认的hive.input.format是什么实现类，不同实现类对于split的算法不同，当然控制map的参数也不同。所以对于控制map个数调优远远不是网上很多人说的那么简单。

 

09-08 20:38
Powered by LMLPHP ©2024 404P 0.042864