如何在Spark Dataframe中显示完整的列内容? - Code

我使用spark-csv加载数据到一个DataFrame。我想做一个简单的查询并显示内容:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

山坳似乎被截断了:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

如何显示列的全部内容?

当前回答

在scala中试试这个:

df.show(df.count.toInt, false)

show方法接受一个整数和一个布尔值，但df除外。count返回Long…所以需要类型铸造

2019-12-10 01:53:37

其他回答

如果输入results.show(false)，结果将不会被截断

2016-04-08 19:02:03

下面的代码将有助于查看所有行，而不会截断每列

df.show(df.count(), False)

2017-02-05 01:21:24

皮斯帕克

在下面的代码中，df是dataframe的名称。第一个参数是动态显示数据帧中的所有行，而不是硬编码一个数值。第二个参数将负责显示完整的列内容，因为该值被设置为False。

df.show(df.count(),False)

规模

在下面的代码中，df是dataframe的名称。第一个参数是动态显示数据帧中的所有行，而不是硬编码一个数值。第二个参数将负责显示完整的列内容，因为该值被设置为false。

df.show(df.count().toInt,false)

2021-01-13 04:41:39

Results.show (false)将显示完整的列内容。

Show方法默认限制为20行，在false前添加数字将显示更多行。

2017-11-08 17:54:23

在Databricks中，您可以以表格格式可视化数据帧。使用命令:

display(results)

它看起来就像

2018-09-10 09:12:34

aliyun