这个是个问题贴,由about云会员提问。会员答疑。提问和回答都比较有水平,分享出来。


1. MapReduce输入的时候,会对HDFS上面的文件进行split,切分的原则是什么样子的?假如HDFS默认文件存储块大小是64MB。如果一个129MB的文件存在HDFS上面,会有三个文件块,分别是64MB/64MB/1MB。那么此时进行切分的时候,是split为几分?


Hadoop 2.x默认的block大小是128MB,Hadoop 1.x默认的block大小是64MB,可以在hdfs-site.xml中设置dfs.block.size,注意单位是byte。

分片大小范围可以在mapred-site.xml中设置,mapred.min.split.size mapred.max.split.size,minSplitSize大小默认为1B,maxSplitSize大小默认为Long.MAX_VALUE = 9223372036854775807。【额外说明这里由于版本更新hadoop2.x后面版本及hadoop3.x mapred.min.split.size更改为mapreduce.input.fileinputformat.split.minsize     maxSplitSize更改为: mapreduce.job.split.metainfo.maxsize          】

那么分片到底是多大呢?


minSize=max{minSplitSize,mapred.min.split.size}

maxSize=mapred.max.split.size

splitSize=max{minSize,min{maxSize,blockSize}}

从上面我们看出分片原则:

split分片其实是综合得来的,并不是固定的,而且他和blocksize是有关系的。

首先还是自己的配置,也就是你配置的分片大小。然后最后得出结果。比如你的


我们再来看一下源码

MapReduce执行过程分析【问题】-LMLPHP


所以在我们没有设置分片的范围的时候,分片大小是由block块大小决定的,和它的大小一样。比如把一个258MB的文件上传到HDFS上,假设block块大小是128MB,那么它就会被分成三个block块,与之对应产生三个split,所以最终会产生三个map task。我又发现了另一个问题,第三个block块里存的文件大小只有2MB,而它的block块大小是128MB,那它实际占用Linux file system的多大空间?

答案是实际的文件大小,而非一个块的大小。

这里更加简洁的总结:
Split的最大值为:max_split

Split的最小值为:min_split

Block的大小:block

切分规则:max(min_split,min(max_split,block)),主要是为了减少网络带宽。
咱们套用上面的公式:
min_split=1b
max_split=Long.MAX_VALUE = 9223372036854775807

max(1,min(9223372036854775807,64M))
这里显然split为64M
既然为64M,那么64MB/64MB/1MB。那么此时进行切分的时候,是split为几分?
应该且分为3份


2. 切分后,是否每一个切分文件对应一个map任务?

第二个问题,这个比较简单了

MapReduce执行过程分析【问题】-LMLPHP 

如上图每一个split,都对应一个map任务


3. 基于1和2两个问题,是否可以认为:每一个文件块对应一个split的文件,并且对应一个map任务?

第三个问题我们同样看上图,一个文件有很多split,对应多个map任务



4. 每一个MapReduce任务对应几个map,由什么决定的某一个MR任务有几个map任务?

同样第四个问题:我们还是看上图,map任务的个数由分片来决定,也就是split决定。当然也可以通过配置JobConf.setNumMapTasks(n),但是如果小于split,不会生效的。大于split才会生效



5. 如果一个MR job有5个map,那么这5个map是每一个结算节点上一个map任务吗?还是可以多个map在同一个计算节点上?还是根据hadoop的移动计算的原理而来,数据块文件在哪里,map任务就在哪里?

这里针对第五个问题:
首先需要了解yarn整个的流程:
步骤1 用户向YARN中提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。

步骤2 ResourceManager为该应用程序分配第一个Container,并与对应的Node-Manager通信,要求它在这个Container中启动应用程序的ApplicationMaster。

步骤3 ApplicationMaster首先向ResourceManager注册,这样用户可以直接通过ResourceManager查看应用程序的运行状态,然后它将为各个任务申请资源,并监控它的运行状态,直到运行结束,即重复步骤4~7。

步骤4 ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。

步骤5 一旦ApplicationMaster申请到资源后,便与对应的NodeManager通信,要求它启动任务。

步骤6 NodeManager为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务。

步骤7 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。

     在应用程序运行过程中,用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。

步骤8 应用程序运行完成后,ApplicationMaster向ResourceManager注销并关闭自己。


##################

我们可以从步骤3和步骤4得知,任务的分配,是由ResourceManager来决定的,由ApplicationMaster申请的。ResourceManager并不是根据舒俱来分配任务,而是根据整体的资源来分配。那么它分配的原则是什么?


首先我们需要知道有三种调度策略FIFO、CapacityScheduler、FairScheduler,每个调度策略又是不同的。因为任务分配也是不同的。但是有一个共同特性:计算本地性

本地性有3个级别:NODE_LOCAL、RACK_LOCAL、OFF_SWITCH,分别代表同节点、同机架、跨机架。计算效率会依次递减。

因为HDFS的多副本,任务应该尽量在选择block所在的机器上执行,可以减少网络传输的消耗。如果开启了Short-Circuit Read特性,还可以直接读本地文件,提高效率。

scheduler能做的只是尽量满足NODE_LOCAL,尽量避免OFF_SWITCH。计算本地性更多的要AM端配合,当AM拿到资源后,优先分配给NODE_LOCAL的任务。

更多参考
http://jxy.me/2015/04/30/yarn-resource-scheduler/




6. 在每一个map任务中,都对应一个缓冲区,如果缓冲区大于80%,那么既要将缓冲区的数据,spill溢写到本地磁盘中。我知道这个本地磁盘不是指HDFS,那么请问这个本地磁盘是在哪里?需要在何处配置吗?


这个其实是shuffle阶段,map输出中间结果,而这个结果需要输入到reduce。这个80%是中间结果的时候,先放到缓存,然后整个缓冲区有个溢写的比例spill.percent(可以通过属性Io.sort.spill.percent配置【新版本hadoop3.1已经更新为:mapreduce.map.sort.spill.percent】),这个比例默认是0.8,
MapReduce执行过程分析【问题】-LMLPHP 
地址:
http://hadoop.apache.org/docs/r3 ... /mapred-default.xml

也就是当缓冲区的数据已经达到阈值(buffer size * spill percent = 100MB * 0.8 = 80MB),溢写线程启动,锁定这80MB的内存,执行溢写过程。溢写到哪里?楼主认为是本地磁盘??个人认为这个是一般来讲是写到hdfs文件。在哪配置?如上图,需要在mapred-site.xml文件中配置



7. 基于6的基础上,每一个map任务,当它的缓冲区的数据大于80%的时候就溢写到本地磁盘,如果数据量比较大,那么这个map任务有可能会发生很多次的溢写,那么最后这个map任务运行结束后,会生成N多个溢写文件。这些溢写文件会最后合并,是合并为一个溢出写文件?还是多个?如果多个是由什么决定的?需要在哪里配置吗?

这些溢写文件最终会合并为一个文件。这个过程就叫做Merge。Merge是怎样的?如前面的例子,“aaa”从某个map task读取过来时值是5,从另外一个map 读取时值是8,因为它们有相同的key,所以得merge成group。什么是group。对于“aaa”就是像这样的:{“aaa”, [5, 8, 2, …]},数组中的值就是从不同溢写文件中读取出来的,然后再把这些值加起来。请注意,因为merge是将多个溢写文件合并到一个文件,所以可能也有相同的key存在,在这个过程中如果client设置过Combiner,也会使用Combiner来合并相同的key。 



关注:

长按/扫描二维码 ,后台回复关键词:获取各种最新技术,和资源

MapReduce执行过程分析【问题】-LMLPHP


about云新上课程:欢迎加微信w3aboutyun咨询,保证大家学会

大数据日志实时分析

http://www.aboutyun.com/forum.php?mod=viewthread&tid=22431


转载注明本文链接

http://www.aboutyun.com/forum.php?mod=viewthread&tid=24379

12-08 19:12