标签： Spark
CentOS 安装 HaDoop 2.10.1 伪分布式 + Hive 3.1.2 + Spark 2.4.8
一、准备
1.1、介绍
名称
版本
说明
centos
7.9
随便无所谓
openjdk
1.8.0_291
版本1.8x即可
hadoop
2.10.1
版本自己看着办
spark
2.4.8
版本自……
SPARK 命令行读取 parquet 数据
查看 HDFS 数据
[root@node-master]# hadoop fs -ls /
Found 12 items
drwxrwxrwx - hdfs hadoop 0 2020-11-24 17:59 /app-logs
drwxrwxrwx ……
jdk Hadoop Spark Hive Zookeeper环境变量
下载地址：http://mirrors.linuxeye.com/jdk/jdk-8u231-linux-x64.tar.gz
# 编辑 profile
vim /etc/profile
# JDK
export JAVA_HOME=/usr/java/jdk1.8.0_23……