Kubernetes
Helm
Quark
pyspark 解决报错问题
问题描述 需要切换 hdfs 用户,默认是不能登录的 修改 hdfs 即可 只要非管理员用户也可以 vim /etc/passwd # 原 hdfs:x:995:990:Hadoop HDFS:/va...
设置pyspark 启动时所使用的python版本
以下操作均为使用非root用户进行。 指定pyspark启动时使用的python版本, vim ~/.bashrc 在文件中添加: export PYSPARK_PYTHON=/usr/local/b...
pyspark连接MySQL出错
解决方法 报错内容: java.sql.SQLException: No suitable driver 解决办法是将mysql的驱动jar包,拷贝到jdk文件夹中的jre/lib/ext/ cp /...
Ubuntu 16.04 安装CDH 5.16.2
一、集群环境 CDH 只支持 ubuntu 14.04 与 ubuntu 16.04 目前 ubuntu 18.04 就别想安装了 集群建议,最少8核32G内存,namenode节点建议64G内存。 ...
Centos 7.7 安装 CDH 6.3.1
一、集群环境 集群建议,最少8核32G内存,namenode节点建议64G内存。 描述 主机名 ip地址 系统 名称节点 namenode-01 192.168.101 ubuntu 16.04 名称...
CentOS 安装tab命令补全
# 安装epel源 yum -y install epel-release # 加快yun速度 yum -y install yum-plugin-fastestmirror # 安装bash-com...
ELK 容器配置
es-master.yml 配置 # 集群名称,多个集群必须保持一致 cluster.name: "bole-cluster" # 节点名称 node.name: node-mas...
docker-compose.yml
version: "2" services: kibana: image: kibana:7.3.1 restart: always hostname: kibana contai...
ElastrcSearch数据定期删除
如果不删除ES数据,将会导致ES存储的数据越来越多,磁盘满了之后将无法写入新的数据。这时可以使用脚本定时删除过期数据。 #/bin/bash # 定期删除没用的日志 # 只保留2天内的日志索引 LAS...
Ubuntu 18.04 服务器版本
安装的18.04服务器版本无法访问ssh访问 sudo apt-get install openssh-server