迹忆客 专注技术分享

本篇文章介绍了 Java 中 Java gateway process exited before sending the driver its port number 错误

Java gateway process exited before sending the driver its port number 错误

PySpark 用于使用 Python API 编写 Spark 应用程序，并提供用于在分布式环境中交互式分析数据的 shell。

在 PySpark Shell、spark-submit 甚至是从pyder 中运行 PySpark 应用程序时，可能会出现错误 Pyspark：异常：Java 网关进程在向驱动程序发送其端口号之前退出。

如果您想在 Windows、Mac 或 Linux 上运行 PySpark，则必须在计算机上安装 Java，因为 PySpark 通常被视为作为 Python 框架运行。 出现此错误的原因是您没有设置 JAVA_HOME 或 PYSPARK_SUBMIT_ARGS。

以下是解决 Pyspark: Exception: Java gateway process exited before sending the driver its port number 的方案。

安装 Open JDK 或 Oracle JDK

您一定想知道为什么需要 Java 来运行 PySpark。 因为Spark基本上是用Scala编写的，但后来业界采用了它的API，所以PySpark是使用Py4J为Python发布的，因为Py4J是一个Java库，这就是为什么需要Java来运行PySpark。

Py4J 集成到 PySpark 中，允许 Python 与 JVM 对象交互。

我们可以使用以下命令来安装OpenJDK。

# Installing Open JDK
sudo add-apt-repository ppa:openjdk-r/ppa
sudo apt-get update
sudo apt-get install openjdk-11-jdk

# Installing Oracle JDK
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

安装JDK后，您需要设置JAVA_HOME路径并按照以下步骤操作。

• 找到你的JDK路径； 如果安装了 Java，则路径将为 /usr/lib/jvm/java-1.x.x-openjdk。
• 现在运行以下命令来设置 JAVA_HOME 路径。

  export JAVA_HOME=/usr/lib/jvm/java-1.x.x-openjdk
  

• 该命令将设置 JAVA_HOME 路径以验证运行 echo $JAVA_HOME，显示 Java 安装路径。

以上命令适用于 Windows 的 Linux 环境。 安装程序可以从这里下载：

1. OpenJDK
2. Oracle

要在 Windows 上设置 JAVA_HOME，请按照以下步骤操作。

• 在 Windows 搜索栏中搜索环境变量。
• 打开编辑系统环境变量。
• 单击环境变量按钮打开环境变量。
• 在系统变量中，单击新建。
• 该名称将为 JAVA_HOME。
• 该值为安装路径，例如 C:\Program Files\Java\jdk-17.0.2。
• 输入名称和值后，单击“确定”并应用更改。

设置 PYSPARK_SUBMIT_ARGS

大多数情况下，当未设置 PYSPARK_SUBMIT_ARGS 时，会出现错误 Pyspark: Exception: Java gateway process exited before Sending the driver its port number 。 使用以下命令设置 PYSPARK_SUBMIT_ARGS。

export PYSPARK_SUBMIT_ARGS="--master local[3] pyspark-shell"

上述命令将使用主设备设置 PYSPARK_SUBMIT_ARGS。 遵循这两种解决方案即可解决问题。