如何在Spark Dataframe中显示完整的列内容?

我使用spark-csv加载数据到一个DataFrame。我想做一个简单的查询并显示内容:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

山坳似乎被截断了:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

如何显示列的全部内容?

当前回答

下面的代码将有助于查看所有行，而不会截断每列

df.show(df.count(), False)

2017-02-05 01:21:24

其他回答

试一试假df.show(20日)

注意，如果您没有指定要显示的行数，它将显示 20行，但将执行所有的数据框架，这将花费更多的时间!

2021-06-30 14:36:36

results.show(20,false)在Scala中为我做到了这一点。

2018-04-16 18:32:37

以下答案适用于Spark Streaming应用程序。

通过将“truncate”选项设置为false，您可以告诉输出接收器显示完整的列。

val query = out.writeStream
          .outputMode(OutputMode.Update())
          .format("console")
          .option("truncate", false)
          .trigger(Trigger.ProcessingTime("5 seconds"))
          .start()

2020-06-10 19:55:22

用Spark python的方式，记住:

如果你必须从数据帧中显示数据，使用show(truncate=False)方法。否则，如果你必须从流数据帧视图(结构化流)显示数据，使用writeStream.format("console")。option("truncate"， False).start()方法

希望它能帮助到一些人。

2022-04-05 12:13:54

如果输入results.show(false)，结果将不会被截断

2016-04-08 19:02:03

如何在Spark Dataframe中显示完整的列内容?

推荐文章

最新文章

标签