我使用spark-csv加载数据到一个DataFrame。我想做一个简单的查询并显示内容:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

山坳似乎被截断了:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

如何显示列的全部内容?


当前回答

在scala中试试这个:

df.show(df.count.toInt, false)

show方法接受一个整数和一个布尔值,但df除外。count返回Long…所以需要类型铸造

其他回答

如果输入results.show(false),结果将不会被截断

在pyspark中尝试过

df.show(truncate=0)

下面的代码将有助于查看所有行,而不会截断每列

df.show(df.count(), False)

试一试 假df.show(20日)

注意,如果您没有指定要显示的行数,它将显示 20行,但将执行所有的数据框架,这将花费更多的时间!

结果。Show (20, false)不会截断。检查来源

20是在不带任何参数的情况下调用show()时显示的默认行数。