解决Python升级导致PySpark任务异常方案

背景

上一篇文章中写了  Linux 多Python版本统一和 PySpark 依赖 python 包方案，但是最近升级 Linux 服务器 上 Python 版本（3.6.8 -> 3.7.16，手动编译Python官方的二进制源码）之后，发现之前文章提到 python3 -m venv /path 方式打包 python.zip 包后，之前 pyspark 任务运行出现 Fatal Python error: initfsencoding: Unable to get the locale encoding。ModuleNotFoundError: No module named 'encodings 异常，导致任务失败。尝试多次编译Python源码和尝试网上提供的解决方案，发现还是不行。

后续发现可以通过 conda 虚拟环境打包方案，可以解决上面出现的问题。

解决方案 # 官方下载 Python 版本，并手动编译 tar -xvf Python-3.7.16.tar.xz cd Python-3.7.16 ./configure --prefix=/usr/local/python3.7.16 --enable-shared --with-ssl && make && make install # linux 服务器 Python 版本软连接变更（根据自己连接调整） cd /usr/bin # 软连接如果存在，则删除 ln -s /usr/local/python3.7.16/bin/python3.7 python3.7 rm -rf python3 ln -s python3.7 python3 python3 -V #根据需要创建通用软连接 ln -s /usr/local/python3.7.16 /usr/local/python3 #依赖的 python3.zip 下面这个方法打包有问题，encodings 包有缺失问题。所以 下面采用 conda 虚拟环境打包 #Pyspark 任务运行出现类似这样异常 Fatal Python error: initfsencoding: Unable to get the locale encoding。ModuleNotFoundError: No module named 'encodings python3 -m venv /home/root/python3.7.16-venv/ #通过 conda 来打包 python3.zip，解决之前方法打包遗漏问题，官方下载安装 Miniconda3软件包 # 添加执行权限 chmod +x Miniconda3-latest-Linux-x86_64.sh #安装 ./Miniconda3-latest-Linux-x86_64.sh # 使环境变量生效，后续不用再注释掉 ~/.bashrc 中新增的 conda 配置 source ~/.bashrc # 激活环境 source activate py37_env # 退出环境 conda deactivate # 查看环境位置 conda env list # 进入环境目录（通常在） cd /root/miniconda3/envs/py37_env # 创建打包目录 mkdir -p ~/python37_pack cd ~/python37_pack # 复制必要文件 cp -r ../lib . cp -r ../bin . # 打包 zip -r python37.zip * mv /usr/local/python3/python3.zip /usr/local/python3/python3.zip.bak.$(date +%Y-%m-%d) cp python37.zip /usr/local/python3/ # 注释 conda 环境变量，conda 默认环境Python版本比较高 echo $PATH #如果linux 服务器上安装的Python版本跟 conda 自身Python 版本不一致，注释掉 类似以下的 Conda 相关配置即可 [root@-centos miniconda3]# pwd /root/miniconda3 [root@-centos miniconda3]# ./bin/python3 -V Python 3.12.9 [root@-centos miniconda3]# python3 -V Python 3.7.16 vim ~/.bashrc [root@-centos miniconda3]# cat ~/.bashrc # .bashrc # User specific aliases and functions alias rm='rm -i' alias cp='cp -i' alias mv='mv -i' # Source global definitions if [ -f /etc/bashrc ]; then . /etc/bashrc fi # >>> conda initialize >>> # !! Contents within this block are managed by 'conda init' !! #__conda_setup="$('/root/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)" #if [ $? -eq 0 ]; then # eval "$__conda_setup" #else # if [ -f "/root/miniconda3/etc/profile.d/conda.sh" ]; then # . "/root/miniconda3/etc/profile.d/conda.sh" # else # export PATH="/root/miniconda3/bin:$PATH" # fi #fi #unset __conda_setup # <<< conda initialize <<< source ~/.bashrc # PySpark 验证最小demo from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() rdd = spark.sparkContext.parallelize([1, 2, 3]) print(rdd.map(lambda x: x * 2).collect()) spark.stop() #手动提交命令 client 或 cluster 都行 spark-submit --master yarn --deploy-mode cluster --archives file:///usr/local/python3/python3.zip#python3 --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./python3/bin/python3 /xxx/test.py