有什么办法让Spark在coalesce上制作相同大小的分区？
Stats[] stats = sparkSession
.read()
.parquet(salesPath)
.coalesce(5) // may produce partitions of 120, 1, 1, 0, 0
最佳答案
无法与coalesce拥有相同大小的分区。
您应该使用repartition。
查看https://spark.apache.org/docs/2.2.0/rdd-programming-guide.html#transformations