流分区器,在流进行转换后,flink通过分区器精确控制数据的流向,下图是flink提供的所有的所有的分区器

flink系列(6)-流分区器partition分析-LMLPHP

可以发现所有的partition都需要实现StreamPartitioner接口和ChannelSelector的接口

其中ForwardPartitioner和GlobalPartitioner两个实现器基本一样,是将记录转发给在本地运行的下游的(归属于subtask)的operation

ShufflePartitioner是随机选择一个channel

RebalancePartitioner实现了一个轮询分区算法

BroadcastPartitioner是将数据发往下游所有节点

RescalPartitioner是通过轮询的方式发往下游

针对这个进行一些说明:

上游操作所发送的元素被分区到下游操作的哪些子集,依赖于上游和下游操作的并行度。例如,如果上游操作的并行度为2,而下游操作的并行度为4,那么一个上游操作会分发元素给两个下游操作,同时另一个上游操作会分发给另两个下游操作。相反的,如果下游操作的并行度为2,而上游操作的并行度为4,那么两个上游操作会分发数据给一个下游操作,同时另两个上游操作会分发数据给另一个下游操作。在上下游的并行度不是呈倍数关系的情况下,下游操作会有数量不同的来自上游操作的输入
KeyGroupStreamPartitioner:通过记录的数据值获得分区key,通过如下公式

keyGroupId * parallelism / maxParallelism

计算出最终的channel

CustomPartitionerWrapper:是自定义分区器

04-16 22:47