如何在Spark Dataframe中显示完整的列内容?

我使用spark-csv加载数据到一个DataFrame。我想做一个简单的查询并显示内容:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

山坳似乎被截断了:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

如何显示列的全部内容?

当前回答

试一试假df.show(20日)

注意，如果您没有指定要显示的行数，它将显示 20行，但将执行所有的数据框架，这将花费更多的时间!

2021-06-30 14:36:36

其他回答

下面的代码将有助于查看所有行，而不会截断每列

df.show(df.count(), False)

2017-02-05 01:21:24

在c#选项中("truncate"， false)不会截断输出中的数据。

StreamingQuery query = spark
                    .Sql("SELECT * FROM Messages")
                    .WriteStream()
                    .OutputMode("append")
                    .Format("console")
                    .Option("truncate", false)
                    .Start();

2020-04-01 19:37:23

皮斯帕克

在下面的代码中，df是dataframe的名称。第一个参数是动态显示数据帧中的所有行，而不是硬编码一个数值。第二个参数将负责显示完整的列内容，因为该值被设置为False。