Spark 单机搭建实战指南

摘要：本文将详细介绍如何在单台机器上搭建 Spark 分布式计算框架，涵盖环境准备、安装配置、运行测试等多个方面，帮助读者轻松上手 Spark 开发。
一、引言
Apache Spark 是一个开源的分布式计算系统，提供了强大的数据处理和分析能力。在 Hadoop 的基础上，Spark 优化了 MapReduce 计算模型，提高了数据处理速度，被广泛应用于大数据处理、机器学习、图计算等领域。本文将介绍如何在单台机器上搭建 Spark 环境，为初学者提供一个实践平台。
二、环境准备

操作系统：建议使用 Linux 操作系统，本文以 CentOS 7 为例。
JDK：Spark 需要 JDK 环境，请确保已安装 JDK 1.8 或更高版本。
Hadoop：Spark 可以与 Hadoop 集成，实现大数据处理。在单机搭建时，我们可以使用 Hadoop 的本地模式。安装 Hadoop 前，请确保已安装 JDK。
Git：用于下载 Spark 源码。
三、安装配置
安装 Hadoop
（1）下载 Hadoop 源码：git clone https://github.com/apache/hadoop.git
（2）编译 Hadoop：cd hadoop; mvn clean package -DskipTests
（3）配置 Hadoop：在 Hadoop 源码目录下，创建 conf 目录，并编辑 hadoop-env.sh 文件，设置 Hadoop 运行环境。
（4）启动 Hadoop：在 Hadoop 源码目录下，执行 ./bin/hadoop.sh start 启动 Hadoop。
安装 Spark
（1）下载 Spark 源码：git clone https://github.com/apache/spark.git
（2）编译 Spark：cd spark; mvn clean package -DskipTests
（3）配置 Spark：在 Spark 源码目录下，创建 conf 目录，并编辑 spark-defaults.conf 文件，设置 Spark 相关参数。
（4）启动 Spark：在 Spark 源码目录下，执行 ./bin/spark.sh start 启动 Spark。
四、运行测试
编写 Spark 代码
创建一个名为 WordCount 的 Scala 程序，实现词频统计功能。

import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("WordCount")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("input.txt")
    val words = lines.flatMap(_.split(" "))
    val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
    val result = wordCounts.collect().sortWith(_._2 > _._2)
    result.foreach(println)
    sc.stop
  }
}

提交 Spark 任务
在 Spark 源码目录下，执行以下命令提交 WordCount 任务：

./bin/spark-submit --class WordCount --master local[4] target/scala-2.11/your-spark-version_2.11-0.0.0-SNAPSHOT.jar

其中，--class 参数指定 Scala 程序的入口类，--master 参数设置 Spark 执行模式，local[4] 表示在本地使用 4 个核心，target/scala-2.11/your-spark-version_2.11-0.0.0-SNAPSHOT.jar 为编译后的 Spark 执行jar包路径。
3. 查看结果
执行提交命令后，Spark 将自动处理 WordCount 任务，并将结果输出到控制台。查看输出结果，验证程序功能。
五、总结
本文详细介绍了在单台机器上搭建 Spark 分布式计算框架的过程，包括环境准备、安装配置和运行测试等步骤。通过本文的实践，读者可以掌握 Spark 的基本使用方法，为后续的大数据处理和分布式计算打下基础。

wcuuchina

Spark 单机搭建实战指南