CentOS 安装 HaDoop 2.10.1 伪分布式 + Hive 3.1.2 + Spark 2.4.8

一、准备

1.1、介绍

1.2、机器规格

二、安装 OpenJDK

2.1、安装 OpenJdk

• 下载地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
• 找到 Linux x64 Compressed Archive 版本下载这个即可

mkdir -p /usr/java
# 解压
tar xvf jdk-8u291-linux-x64.tar.gz
# 移动到刚刚创建好目录
mv jdk1.8.0_291/ /usr/java/

三、安装 HaDoop 伪分布式模式

• 伪分布式是完全分布式的特例，只有一个节点。

3.1、配置环境变量

cat <<'EOF'>> /etc/profile
# JDK
export JAVA_HOME=/usr/java/jdk1.8.0_291
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

# hadoop
export HADOOP_HOME=/usr/local/hadoop
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/bin:$PATH

# spark
export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin:$PATH

# hive
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
EOF

# 刷新环境变量
source /etc/profile