hadoop13
CentOS 安装 HaDoop 2.10.1 伪分布式 + Hive 3.1.2 + Spark 2.4.8
一、准备
1.1、介绍
名称
版本
说明
centos
7.9
...
SPARK 命令行读取 parquet 数据
查看 HDFS 数据
[root@node-master]# hadoop
...
本地文件拷贝到 HDFS
创建文件夹：
hadoop fs -mkdir /work
拷贝：
had
...
大数据环境 Pyenv 搭建
一、准备
1.1、介绍
名称
版本
说明
centos
7.9
...
jdk Hadoop Spark Hive Zookeeper环境变量
下载地址：http://mirrors.linuxeye.com/jdk/j
...
CDH Spark 设置python版本
配置好 重启 spark服务即可
...
Spark 默认 python版本修改
# 路径
/opt/cloudera/parcels/CDH-5.16.1
...
hue 报错
'ascii' codec can't encode characters
...
pyspark 解决报错问题
问题描述
需要切换 hdfs 用户，默认是不能登录的
修改 hdfs 即可
...
设置pyspark 启动时所使用的python版本
以下操作均为使用非root用户进行。
