Hadoop配置文件设定了Hadoop平台运行时各方面属性。大量实验证明,合理的配置会大大提高Hadoop的性能。
     在Hadoop-0.19.2版本中,Hadoop配置文件在conf目录下,包括文件        
     hadoop-default.xml
     hadoop-site.xml
     前者做了默认配置,不允许修改,用户需要配置时可以在后者中设置。

     Hadoop平台启动时首先加载hadoop-site.xml文件来配置系统属性,然后加载hadoop-default.xml文件来配置其它默认属性。

属性的结构以及解释如下所示。


   Hadoop配置文件分为以下几个大类:
     包括全局(global)属性、
        日志(logging)属性、
        输入/输出(i/o)属性、
        文件系统(filesystem)属性、
        MapReduce(map/reduce)属性、
        进程通信(ipc)属性,
        以及作业通知(JobNotification)配置、
        网页界面(web interface)配置、
        代理(proxy)配置、
        机架(Rack)配置。



   在本节主要关注与MapReduce数据流相关的属性,具体包括I/O属性和MapReduce属性这两类。在开始具体介绍配置属性的优化之前,有几个问题需要首先说明:
    (1)部分属性除了配置文件之外还可以在MapReduce作业中动态修改,将其放在下一节介绍。
    (2)在MapReduce执行过程中,特别是Shuffle阶段,尽量使用内存缓冲区存储数据,减少磁盘溢写次数;同时在作业执行过程中增加并行度,都能够显著提高系统性能,这也是配置优化的一个重要依据。
    (3)由于每个Hadoop集群的机器和硬件之间都存在一定差别,所以Hadoop框架应根据其集群特性做配置优化,可能需要经历大量的实验。在此仅提出部分比较重要的可优化属性,以及其优化的依据。


    下面分别介绍I/O属性和MapReduce属性这两个类的部分属性,并指明其优化方向。
1   I/O属性类的优化
    I/O属性类主要包括在Shuffle阶段中相关的I/O过程的属性,在分析了每个具体属性后从以下几个属性入手进行优化。
    (1)io.sort.factor属性,int类型,Map端和Reduce端使用
    该属性设置在Map端和Reduce端都使用到的对文件Sort时一次合并的最大流,其默认值是10,即一次合并10个流。在集群中,将其适当增大能够提高并行度以缩短合并所需时间。将此默认值增加到100是比较常见的。
    (2)io.sort.mb属性,int类型,Map端使用
    该属性设置对Map输出进行排序时使用的环形内存缓冲区的大小,以M字节为单位,默认是100M。如果允许,应该增加它的值来减少磁盘溢写的次数以提高性能。
   (3)io.sort.record.percent属性,float类型,Map端使用
   该属性设置保留的io.sort.mb的比例用来存储Map输出的记录边界,剩余的空间用来存储Map输出记录本身,默认是0.05。
   (4)io.sort.spill.percent属性,float类型,Map端使用
   该属性设置Map输出内存缓冲和边界记录索引两者使用比例的阈值,达到此值后开始溢写磁盘的过程,默认是0.80。
   (5)io.file.buffer.size属性,int类型,MapReduce作业使用
    该属性设置MapReduce作业的I/O操作中所提供的缓冲区的大小,以字节为单位,默认是4096字节。这是一个比较保守的设置,通过增大它的大小能够减少I/O次数以提高性能。如果系统允许,64KB(65536字节)至128KB(131072字节)是较普遍的选择。

2   MapReduce属性类的优化
    MapReduce属性类主要包括在MapReduce执行过程中相关配置属性,重点从以下的部分属性去分析性能优化。
   (1)mapred.reduce.parallel.copies属性,int类型,Reduce端使用
   该属性设置将Map输出复制到Reduce的线程的数量,默认为5。根据需要可以将其增大到20-50,增加了Reduce端复制过程的并行数,提高了系统性能。
   (2)mapred.child.java.opts属性,String类型,Map和Reduce任务虚拟机使用
   该属性设置Map和Reduce任务运行时Java虚拟机指定的内存的大小,默认-Xmx200m,分配给每个任务200MB内存。只要条件允许,应该让任务节点上的内存大小尽量大,可以将其增大到-Xmx512m,即512MB,以提高MapReduce作业的性能。
   (3)mapred.job.shuffle.input.buffer.percent属性,float类型,Reduce端使用
   该属性设置整个堆空间的百分比,用于Shuffle的复制阶段分配给Map输出缓存,默认是0.70,适当增大比例可以使Map输出不被溢写到磁盘,能够提高系统性能。
  (4)mapred.job.shuffle.merge.percent属性,float类型,Reduce端使用
   该属性设置Map输出缓存中使用比例的阈值,用于启动合并输出和磁盘溢写的过程,默认是0.66。如果允许,适当增大其比例能够减少磁盘溢写次数,提高系统性能。
  (5)mapred.inmem.merge.threshold属性,int类型,Reduce端使用
该属性设置启动合并输出和磁盘溢写过程的最大Map输出数量,默认为1000。由于Reduce端复制的中间值能够全部存在内存中可以获得最佳性能。如果Reduce函数内存需求很少,可以将该属性设置为0,即没有阈值限制,由mapred.job.shuffle.merge.percent属性单独控制溢写过程。
  (6)mapred.job.reduce.input.buffer.percent属性,float类型,Reduce端使用
  该属性设置在Reduce过程中用来在内存中保存Map输出的空间占整个堆空间的比例。Reduce阶段开始时,内存中的Map输出大小不能大于这个值。默认为0.0,说明在Reduce开始前所有的Map输出都合并到硬盘中以便为Reduce提供尽可能多的内存。然而如果Reduce函数内存需求较小,可以将该值设置为1.0来提升性能。
  (7)tasktracker.http.threads属性,int类型,Map端使用
该属性设置集群中每个tasktracker用于将map输出传给reducer的工作线程的数量,默认是40。可以将其提高至40-50之间,能够增加并线线程数,提高集群性能。
09-25 21:49