如何在Spark Dataframe中显示完整的列内容?

我使用spark-csv加载数据到一个DataFrame。我想做一个简单的查询并显示内容:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

山坳似乎被截断了:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

如何显示列的全部内容?

当前回答

在pyspark中尝试过

df.show(truncate=0)

2020-09-18 12:29:37

其他回答

在scala中试试这个:

df.show(df.count.toInt, false)

show方法接受一个整数和一个布尔值，但df除外。count返回Long…所以需要类型铸造

2019-12-10 01:53:37

在Pyspark中我们可以使用

df.show(truncate=False)这将显示列的完整内容而不进行截断。

df.show(5,truncate=False)这将显示前五行的全部内容。

2021-07-12 21:39:26

我使用插件Chrome扩展工作得很好:

[https://userstyles.org/styles/157357/jupyter-notebook-wide][1]

2019-05-23 17:35:44

试试这个命令:

df.show(df.count())

2016-11-25 20:16:32

以下答案适用于Spark Streaming应用程序。

通过将“truncate”选项设置为false，您可以告诉输出接收器显示完整的列。

val query = out.writeStream
          .outputMode(OutputMode.Update())
          .format("console")
          .option("truncate", false)
          .trigger(Trigger.ProcessingTime("5 seconds"))
          .start()

2020-06-10 19:55:22

如何在Spark Dataframe中显示完整的列内容?

推荐文章

最新文章

标签