你把你的主垃圾收集日志扔掉了吗?所以我遇到了类似的问题，我发现SPARK_DRIVER_MEMORY只设置Xmx堆。初始堆大小仍然是1G，堆大小永远不会扩大到Xmx堆。

传递“——conf”spark.driver。extraJavaOptions=-Xms20g”解决了我的问题。

Ps aux | grep Java和您将看到以下日志:=

4178294 pts/0 Sl+ 18184 pts/0 Sl+ 18:49 0:33 /usr/java/latest/bin/ opt/spark/ com / /

设置这些确切的配置有助于解决问题。

spark-submit --conf spark.yarn.maxAppAttempts=2 --executor-memory 10g --num-executors 50 --driver-memory 12g

对于上面提到的错误，我没有什么建议。

检查执行程序分配的内存可能必须处理需要比分配的内存更多的分区。

尝试查看是否有更多的shuffle是实时的，因为shuffle是昂贵的操作，因为它们涉及磁盘I/O、数据序列化和网络I/O

●使用广播连接

避免使用groupByKeys，尽量用ReduceByKey代替

●避免在任何发生洗牌的地方使用巨大的Java对象

堆空间错误通常是由于将太多数据带回驱动程序或执行程序而发生的。 在您的代码中，似乎没有将任何东西带回驱动程序，相反，您可能重载了使用threeDReconstruction()方法将一个输入记录/行映射到另一个输入记录/行的执行器。我不确定在方法定义中是什么，但这肯定会导致执行器的重载。 现在你有两个选择，

编辑你的代码，以更有效的方式进行三维重建。 不要编辑代码，但是给你的执行程序更多的内存，以及更多的内存开销。[spark.executor。内存或spark.driver.memoryOverhead]

我建议谨慎使用，只使用你需要的量。就内存需求而言，每个作业都是独一无二的，所以我建议根据经验尝试不同的值，每次增加2的幂(256M,512M,1G ..)等等)

您将得到一个可以工作的执行程序内存的值。尝试使用此值重新运行作业3或5次，然后再接受此配置。

简单，如果你正在使用一个脚本或juyter笔记本，然后只设置配置路径，当你开始构建一个spark会话…

spark = SparkSession.builder.master('local[*]').config("spark.driver.memory", "15g").appName('testing').getOrCreate()

看看启动脚本，Java堆大小设置在那里，看起来你在运行Spark worker之前没有设置这个。

# Set SPARK_MEM if it isn't already set since we also use it for this process
SPARK_MEM=${SPARK_MEM:-512m}
export SPARK_MEM

# Set JAVA_OPTS to be able to load native libraries and to set heap size
JAVA_OPTS="$OUR_JAVA_OPTS"
JAVA_OPTS="$JAVA_OPTS -Djava.library.path=$SPARK_LIBRARY_PATH"
JAVA_OPTS="$JAVA_OPTS -Xms$SPARK_MEM -Xmx$SPARK_MEM"

您可以在这里找到部署脚本的文档。