我使用Ambari上提供的两个RAM的虚拟机设置了一个火花集群。此外,我在其他集群(HDInsights)中执行了相同的作业,并优化了执行器、驱动程序内存、vcore设置。
但是,当我在这个新的VM集群中运行作业时,我得到了
线程“main”java. lang.OutOfMemoryError中的异常:无法创建新的本机线程
我已经更改了ulimited-u和ulimited-n参数并尝试执行作业。它没有帮助。如果有人有更多的想法来解决这些错误,请告诉我。
通常,这是您的JVM内存的问题,您通常会使用-Xmx属性设置该内存。看起来这在Spark中是不允许的,您需要使用火花指定堆大小。执行器。内存