#hadoop
大数据环境 Pyenv 搭建
环境变量搞乱了话复制过来
今天在linux服务器上创建的用户，登录后发现此用户的CRT的终端提示符显示的是-bash-4.2# 而不是user@主机名 +
...
jdk Hadoop Spark Hive Zookeeper环境变量
下载地址：http://mirrors.linuxeye.com/jdk/jdk-8u231-linux-x64.tar.gz
# 编辑 profile
v
...
CDH Spark 设置python版本
配置好 重启 spark服务即可
...
Spark 默认 python版本修改
# 路径
/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/bin/pyspark
# 找到python
...
pyspark 解决报错问题
问题描述
需要切换 hdfs 用户，默认是不能登录的
修改 hdfs 即可
只要非管理员用户也可以
vim /etc/passwd
# 原
hdfs:x
...
设置pyspark 启动时所使用的python版本
以下操作均为使用非root用户进行。
...
pyspark连接MySQL出错
解决方法
报错内容： java.sql.SQLException: No suitable driver
解决办法是将mysql的驱动jar包，拷贝到jdk文
...
Ubuntu 16.04 安装CDH 5.16.2
一、集群环境
CDH 只支持 ubuntu 14.04 与 ubuntu 16.04 目前 ubuntu 18.04 就别想安装了
集群建议，最少8核32G内
...
Centos 7.7 安装 CDH 6.3.1
一、集群环境
集群建议，最少8核32G内存，namenode节点建议64G内存。
...
