-
CentOS 安装 HaDoop 2.10.1 伪分布式 + Hive 3.1.2 + Spark 2.4.8
一、准备 1.1、介绍 名称 版本 说明 centos 7.9 随便无所谓 openjdk 1.8.0_291 版本1.8x即可 hadoop 2.10.1 版本自己看着办 spark 2.4.8 版本自……
Akiraka
2021-06-16
2 0 -
SPARK 命令行读取 parquet 数据
查看 HDFS 数据 [root@node-master]# hadoop fs -ls / Found 12 items drwxrwxrwx - hdfs hadoop 0 2020-11-24 17:59 /app-logs drwxrwxrwx ……
Akiraka
2020-12-08
0 0 -
本地文件拷贝到 HDFS
创建文件夹： hadoop fs -mkdir /work 拷贝： hadoop fs -put /Users/yp/Documents/test.txt /work 命令列出所有文件： hadoop fs -ls /文件夹名称 删除文件……
Akiraka
2020-12-08
0 0 -
大数据环境 Pyenv 搭建
一、准备 1.1、介绍 名称 版本 说明 centos 7.9 随便无所谓 openjdk 1.8.0_291 版本1.8x即可 hadoop 2.10.1 版本自己看着办 1.2、机器规格 C……
Akiraka
2020-02-11
0 0 -
jdk Hadoop Spark Hive Zookeeper环境变量
下载地址：http://mirrors.linuxeye.com/jdk/jdk-8u231-linux-x64.tar.gz # 编辑 profile vim /etc/profile # JDK export JAVA_HOME=/usr/java/jdk1.8.0_23……
Akiraka
2020-02-09
0 0 -
CDH Spark 设置python版本
配置好 重启 spark服务即可
Akiraka
2020-02-09
0 0 -
Spark 默认 python版本修改
# 路径 /opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/bin/pyspark # 找到python 直接改就可以了
Akiraka
2020-02-09
0 0 -
hue 报错
'ascii' codec can't encode characters in position 0-2: ordinal not in range(128) 错误描述 使用中文用户名就会报错 解决方法 /opt/cloudera/parcels/CD……
Akiraka
2020-02-09
0 0 -
pyspark 解决报错问题
问题描述 需要切换 hdfs 用户，默认是不能登录的 修改 hdfs 即可 只要非管理员用户也可以 vim /etc/passwd # 原 hdfs:x:995:990:Hadoop HDFS:/var/lib/had……
Akiraka
2020-02-09
0 0 -
设置pyspark 启动时所使用的python版本
以下操作均为使用非root用户进行。 指定pyspark启动时使用的python版本， vim ~/.bashrc 在文件中添加： export PYSPARK_PYTHON=/usr/local/bin/python3 指……
Akiraka
2020-02-09
0 0
what are you looking for?
热门文章
最新评论
At this time it appears like Drupal is the best bloggin...
Definitely imagine that that you said. Your favorite ju...
I'm really enjoying the theme/design of your site. D...
wordpress
评论于 Kubernetes（k8s）Helm 部署 EFK 集群