-
CentOS 安装 HaDoop 2.10.1 伪分布式 + Hive 3.1.2 + Spark 2.4.8
一、准备 1.1、介绍 名称 版本 说明 centos 7.9 随便无所谓 openjdk 1.8.0_291 版本1.8x即可 hadoop 2.10.1 版本自己看着办 spark 2.4.8 版本自……
Akiraka 2021-06-16
2 0 -
CDH Spark 设置python版本
配置好 重启 spark服务即可
Akiraka 2020-02-09
0 0 -
Spark 默认 python版本修改
# 路径 /opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/bin/pyspark # 找到python 直接改就可以了
Akiraka 2020-02-09
0 0 -
pyspark 解决报错问题
问题描述 需要切换 hdfs 用户,默认是不能登录的 修改 hdfs 即可 只要非管理员用户也可以 vim /etc/passwd # 原 hdfs:x:995:990:Hadoop HDFS:/var/lib/had……
Akiraka 2020-02-09
0 0 -
设置pyspark 启动时所使用的python版本
以下操作均为使用非root用户进行。 指定pyspark启动时使用的python版本, vim ~/.bashrc 在文件中添加: export PYSPARK_PYTHON=/usr/local/bin/python3 指……
Akiraka 2020-02-09
0 0 -
pyspark连接MySQL出错
解决方法 报错内容: java.sql.SQLException: No suitable driver 解决办法是将mysql的驱动jar包,拷贝到jdk文件夹中的jre/lib/ext/ cp /usr/share/java/my……
Akiraka 2020-02-09
0 0
[…] Linux命令行实现回收站功能 […]
评论于 Linux命令行实现回收站功能