Akiraka Akiraka
  • Home
  • Linux
    • ELK
    • PHP
    • Shell
    • Nginx
    • Docker
      • Docker Compose
    • Centos
    • Ubuntu
    • Jenkins
  • Python
  • Mac OS
  • Windows
  • Big Data
    • Hadoop
    • CDH
    • Hive
    • Spark
    • ZooKeeper
  • K8S
    • Kubernetes
    • Helm
  • Other
  • Quark
  • Contribute
  • Home
  • Linux
    • ELK
    • PHP
    • Shell
    • Nginx
    • Docker
      • Docker Compose
    • Centos
    • Ubuntu
    • Jenkins
  • Python
  • Mac OS
  • Windows
  • Big Data
    • Hadoop
    • CDH
    • Hive
    • Spark
    • ZooKeeper
  • K8S
    • Kubernetes
    • Helm
  • Other
  • Quark
  • Contribute
首页 Hadoop 设置pyspark 启动时所使用的python版本

设置pyspark 启动时所使用的python版本

Akiraka 2年前

以下操作均为使用非root用户进行。

  • 指定pyspark启动时使用的python版本,
vim ~/.bashrc
在文件中添加:
export PYSPARK_PYTHON=/usr/local/bin/python3
  • 指定启动pyspark后的交互式界面,使用ipython3作为默认启动交互界面
export PYSPARK_DRIVER_PYTHON=ipython3
  • 指定启动pyspark后的交互式界面,使用jupyter作为默认启动的交互界面,指定ip 和port 可以让同网段的设备访问jupyter 进行pyspark 操作
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port 8889 --ip=172.16.80.142"

unset XDG_RUNTIME_DIR
  • 加载配置生效
source ~/.bashrc

注意:

在修改交互式界面的时候。如果以前有设置了PYSPARK_DRIVER_PYTHON_OPTS

新修改的PYSPARK_DRIVER_PYTHON 如果没有设置PYSPARK_DRIVER_PYTHON_OPTS 即使注释掉,可能还是会使用上一次的设置。最好覆盖一下。

#hadoop#linux#pyspark
0
猜你喜欢
  • Jenkins 升级失败
  • Deepin与UOS多屏显示输出问题
  • SonarQube 集成 GitLab 单点登录
  • Linux Centos/Ubuntu/Debain配置账户登录失败锁定策略
  • Linux systemd-resolve占用53端口的解决方法
Akiraka
站长
本人擅长 Ai、Au、Fl、Ae、Pr、Ps 等软件的安装与卸载,精通 CSS、JavaScript、PHP、Python、Shell、Go 等单词的拼写,熟悉 Windows、Linux、Mac、Android、IOS 等系统的开关机!
160
文章
24
评论
73
获赞
Popular Articles
TOP1
Kubernetes(k8s)Helm 部署 EFK 集群
2年前
TOP2
Kubernetes(k8s)helm 搭建 prometheus + Grafana 监控
2年前
TOP3
Container 命令ctr、crictl 命令使用说明
11月前
TOP4
Kubernetes(k8s)Helm 部署 Jenkins 持续化集成部署
2年前
TOP5
Helm 部署 Loki 日志聚合
2年前
Related Articles
Nginx 容器编排
2年前
CentOS 安装 HaDoop 2.10.1 伪分布式 + Hive 3.1.2 + Spark 2.4.8
1年前
Mysql增量备份脚本
2年前
Docker nginx和php分离配置
2年前
阿里云Docker加速器
2年前
Copyright © 2019-2022 Akiraka. 沪18036911号