如何在Spark Dataframe中显示完整的列内容?

我使用spark-csv加载数据到一个DataFrame。我想做一个简单的查询并显示内容:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

山坳似乎被截断了:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

如何显示列的全部内容?

当前回答

在pyspark中尝试过

df.show(truncate=0)

2020-09-18 12:29:37

其他回答

其他的解都很好。如果这些是你的目标:

没有列的截断，没有行损失，快, 非常高效。

这两行很有用……

    df.persist
    df.show(df.count, false) // in Scala or 'False' in Python

通过持久化，当使用持久化或缓存来维护执行器内部的临时底层数据帧结构时，执行器的两个操作count和show会更快更有效。请参阅有关持久化和缓存的更多信息。

2017-02-15 06:25:17

在scala中试试这个:

df.show(df.count.toInt, false)

show方法接受一个整数和一个布尔值，但df除外。count返回Long…所以需要类型铸造

2019-12-10 01:53:37

皮斯帕克

在下面的代码中，df是dataframe的名称。第一个参数是动态显示数据帧中的所有行，而不是硬编码一个数值。第二个参数将负责显示完整的列内容，因为该值被设置为False。

df.show(df.count(),False)

规模

在下面的代码中，df是dataframe的名称。第一个参数是动态显示数据帧中的所有行，而不是硬编码一个数值。第二个参数将负责显示完整的列内容，因为该值被设置为false。

df.show(df.count().toInt,false)

2021-01-13 04:41:39

结果。Show (20, false)不会截断。检查来源

20是在不带任何参数的情况下调用show()时显示的默认行数。

2015-11-16 19:24:23

用Spark python的方式，记住:

如果你必须从数据帧中显示数据，使用show(truncate=False)方法。否则，如果你必须从流数据帧视图(结构化流)显示数据，使用writeStream.format("console")。option("truncate"， False).start()方法

希望它能帮助到一些人。

2022-04-05 12:13:54

如何在Spark Dataframe中显示完整的列内容?

推荐文章

最新文章

标签