我试图理解在YARN上运行Spark作业时，内核数量和执行器数量之间的关系。测试环境如下:Number of data nodes: 3Data node machine spec:CPU: Core

在闭包外部调用函数时出现奇怪的行为:当函数在一个对象中时，一切都在工作当函数在类中，get:任务不可序列化:java.io.NotSerializableException:测试问题是我需要在类而不是

我的集群:1个主节点，11个从节点，每个节点有6gb内存。我的设置:问题是这样的:首先，我从HDFS读取一些数据(2.19 GB)到RDD:其次，在这个RDD上做一些事情:最后，输出到HDFS:当我运

我读了集群模式概述，我仍然不能理解Spark独立集群中的不同进程和并行性。worker是否是JVM进程?我运行bin\start-slave.sh，发现它生成了worker，它实际上是一个JVM。根据

谁能给我解释一下map和flatMap之间的区别，以及它们各自的良好用例是什么?“flatten the results”是什么意思?它有什么好处?

我使用spark-csv加载数据到一个DataFrame。我想做一个简单的查询并显示内容:山坳似乎被截断了:如何显示列的全部内容?

我来自熊猫的背景，我习惯了从CSV文件读取数据到一个dataframe，然后简单地改变列名使用简单的命令有用的东西:然而，这在使用sqlContext创建的PySpark数据框架中是行不通的。我能想到

我只是想知道在Apache Spark中RDD和DataFrame (Spark 2.0.0 DataFrame只是数据集[行]的类型别名)之间的区别是什么?你能把一个转换成另一个吗?

根据Learning Spark请记住，重新划分数据是一项相当昂贵的操作。Spark还有一个repartition()的优化版本，称为coalesce()，它允许避免数据移动，但仅当您正在减少RDD分