-
CentOS 安装 HaDoop 2.10.1 伪分布式 + Hive 3.1.2 + Spark 2.4.8
一、准备 1.1、介绍 名称 版本 说明 centos 7.9 随便无所谓 openjdk 1.8.0_291 版本1.8x即可 hadoop 2.10.1 版本自己看着办 spark 2.4.8 版本自……
Akiraka
2021-06-16
2 0 -
SPARK 命令行读取 parquet 数据
查看 HDFS 数据 [root@node-master]# hadoop fs -ls / Found 12 items drwxrwxrwx - hdfs hadoop 0 2020-11-24 17:59 /app-logs drwxrwxrwx ……
Akiraka
2020-12-08
0 0 -
本地文件拷贝到 HDFS
创建文件夹： hadoop fs -mkdir /work 拷贝： hadoop fs -put /Users/yp/Documents/test.txt /work 命令列出所有文件： hadoop fs -ls /文件夹名称 删除文件……
Akiraka
2020-12-08
0 0 -
大数据环境 Pyenv 搭建
一、准备 1.1、介绍 名称 版本 说明 centos 7.9 随便无所谓 openjdk 1.8.0_291 版本1.8x即可 hadoop 2.10.1 版本自己看着办 1.2、机器规格 C……
Akiraka
2020-02-11
0 0 -
jdk Hadoop Spark Hive Zookeeper环境变量
下载地址：http://mirrors.linuxeye.com/jdk/jdk-8u231-linux-x64.tar.gz # 编辑 profile vim /etc/profile # JDK export JAVA_HOME=/usr/java/jdk1.8.0_23……
Akiraka
2020-02-09
0 0 -
CDH Spark 设置python版本
配置好 重启 spark服务即可
Akiraka
2020-02-09
0 0 -
Spark 默认 python版本修改
# 路径 /opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/bin/pyspark # 找到python 直接改就可以了
Akiraka
2020-02-09
0 0 -
hue 报错
'ascii' codec can't encode characters in position 0-2: ordinal not in range(128) 错误描述 使用中文用户名就会报错 解决方法 /opt/cloudera/parcels/CD……
Akiraka
2020-02-09
0 0 -
pyspark 解决报错问题
问题描述 需要切换 hdfs 用户，默认是不能登录的 修改 hdfs 即可 只要非管理员用户也可以 vim /etc/passwd # 原 hdfs:x:995:990:Hadoop HDFS:/var/lib/had……
Akiraka
2020-02-09
0 0 -
设置pyspark 启动时所使用的python版本
以下操作均为使用非root用户进行。 指定pyspark启动时使用的python版本， vim ~/.bashrc 在文件中添加： export PYSPARK_PYTHON=/usr/local/bin/python3 指……
Akiraka
2020-02-09
0 0
