我使用spark-csv加载数据到一个DataFrame。我想做一个简单的查询并显示内容:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

山坳似乎被截断了:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

如何显示列的全部内容?


当前回答

结果。show(20, False)或结果。错误的显示(20日) 这取决于你是在Java/Scala/Python上运行它

其他回答

Results.show (false)将显示完整的列内容。

Show方法默认限制为20行,在false前添加数字将显示更多行。

在pyspark中尝试过

df.show(truncate=0)

结果。show(20, False)或结果。错误的显示(20日) 这取决于你是在Java/Scala/Python上运行它

在Pyspark中我们可以使用

df.show(truncate=False)这将显示列的完整内容而不进行截断。

df.show(5,truncate=False)这将显示前五行的全部内容。

皮斯帕克

在下面的代码中,df是dataframe的名称。第一个参数是动态显示数据帧中的所有行,而不是硬编码一个数值。第二个参数将负责显示完整的列内容,因为该值被设置为False。

df.show(df.count(),False)


规模

在下面的代码中,df是dataframe的名称。第一个参数是动态显示数据帧中的所有行,而不是硬编码一个数值。第二个参数将负责显示完整的列内容,因为该值被设置为false。

df.show(df.count().toInt,false)