设置pyspark 启动时所使用的python版本

以下操作均为使用非root用户进行。

• 指定pyspark启动时使用的python版本，

vim ~/.bashrc
在文件中添加：
export PYSPARK_PYTHON=/usr/local/bin/python3

• 指定启动pyspark后的交互式界面，使用ipython3作为默认启动交互界面

export PYSPARK_DRIVER_PYTHON=ipython3

• 指定启动pyspark后的交互式界面，使用jupyter作为默认启动的交互界面，指定ip 和port 可以让同网段的设备访问jupyter 进行pyspark 操作

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port 8889 --ip=172.16.80.142"

unset XDG_RUNTIME_DIR

• 加载配置生效

source ~/.bashrc

注意：

在修改交互式界面的时候。如果以前有设置了PYSPARK_DRIVER_PYTHON_OPTS

新修改的PYSPARK_DRIVER_PYTHON 如果没有设置PYSPARK_DRIVER_PYTHON_OPTS 即使注释掉，可能还是会使用上一次的设置。最好覆盖一下。