• 解压安装文件
  • 修改配置文件(伪分布式)

     $HADOOP_HOME/etc/hadoop          (自己的$HADOOP_HOME:/etc/hadoop/hadoop2.9.2)

  1. hadoop-env.sh
    vim hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk9.0.1
  2. core-site.xml
            <!-- 制定NameNode的地址 -->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://itcast01:9000</value>
            </property>
            <!-- 指定hadoop运行时产生文件的存储目录 -->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/itcast/hadoop-2.4.1/tmp</value>
            </property>
  3. hdfs-site.xml
            <!-- 指定HDFS副本的数量 -->
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
  4. mapred-site.xml 
            mv mapred-site.xml.template mapred-site.xml
            vim mapred-site.xml
            <!-- 指定mr运行在yarn上 -->
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
  5. yarn-site.xml
        <!-- 指定ResourceManager的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>itcast01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
  • 添加到环境变量

vim /etc/proflie

JAVA_HOME=/usr/java/jdk-9.0.1
JRE_HOME=/usr/java/jdk-9.0.1/jre
HADOOP_HOME=/usr/hadoop/hadoop-2.9.2
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME JRE_HOME HADOOP_HOME CLASS_PATH PATH

source /etc/profile

  • 格式化NameNode

hdfs namenode -format

  • 启动Hadoop

sbin/start-dfs.sh

sbin/start-yarn.sh

  • 验证是否启动成功

使用jps命令

成功则显示:

15056 NameNode
15425 SecondaryNameNode
15921 NodeManager
18292 Jps
15606 ResourceManager
15215 DataNode

  • 登录管理界面

http://IP:50070 (HDFS管理界面)
http://IP:8088 (MR管理界面)

12-26 19:55