CSV统一导出

这个信息并没有很好地表示出来。因为这是我第二次需要推导这个，我把它写在这里提醒自己。

实际上，最好的方法(从postgres中获取CSV)是使用COPY…到STDOUT命令。虽然你不想用答案中显示的方式来做。该命令的正确使用方法为:

COPY (select id, name from groups) TO STDOUT WITH CSV HEADER

只记住一个命令!

它非常适合在ssh上使用:

$ ssh psqlserver.example.com 'psql -d mydb "COPY (select id, name from groups) TO STDOUT WITH CSV HEADER"' > groups.csv

它非常适合在docker中使用ssh:

$ ssh pgserver.example.com 'docker exec -tu postgres postgres psql -d mydb -c "COPY groups TO STDOUT WITH CSV HEADER"' > groups.csv

它甚至在本地机器上也很棒:

$ psql -d mydb -c 'COPY groups TO STDOUT WITH CSV HEADER' > groups.csv

或本地机器上的内部docker ?：

docker exec -tu postgres postgres psql -d mydb -c 'COPY groups TO STDOUT WITH CSV HEADER' > groups.csv

或者在kubernetes集群上，在docker中，通过HTTPS??：

kubectl exec -t postgres-2592991581-ws2td 'psql -d mydb -c "COPY groups TO STDOUT WITH CSV HEADER"' > groups.csv

多才多艺，有很多逗号!

你知道吗?

是的，我写了，以下是我的笔记:

的份

使用/copy可以作为执行it1的用户在psql命令运行的任何系统上有效地执行文件操作。如果连接到远程服务器，那么将执行psql的系统上的数据文件复制到远程服务器或从远程服务器复制数据文件是很简单的。

COPY作为后端进程用户帐户(默认为postgres)在服务器上执行文件操作，检查并相应应用文件路径和权限。如果使用TO STDOUT，则绕过文件权限检查。

如果psql没有在您希望生成的CSV最终驻留的系统上执行，这两个选项都需要后续的文件移动。根据我的经验，当您主要使用远程服务器时，这是最可能的情况。

通过ssh配置TCP/IP隧道之类的东西到远程系统以获得简单的CSV输出会更复杂，但对于其他输出格式(二进制)，最好通过隧道连接/copy，执行本地psql。同样，对于大型导入，将源文件移动到服务器并使用COPY可能是性能最高的选项。

PSQL参数

使用psql参数，你可以像CSV一样格式化输出，但也有缺点，比如必须记住禁用分页器和不获取头信息:

$ psql -P pager=off -d mydb -t -A -F',' -c 'select * from groups;'
2,Technician,Test 2,,,t,,0,,                                                                                                                                                                   
3,Truck,1,2017-10-02,,t,,0,,                                                                                                                                                                   
4,Truck,2,2017-10-02,,t,,0,,

其他工具

不，我只是想在不编译和/或安装工具的情况下从服务器中获取CSV。

有几种解决方案:

1 PSQL命令

psql -d dbname -t -A -F"，" -c "select * from users" > output.csv

这有一个很大的优势，您可以通过SSH使用它，如SSH postgres@host命令-使您能够获得

2 postgres copy命令

拷贝(SELECT * from users)到'/tmp/output.csv'

PSQL交互(或不交互)

>psql dbname
psql>\f ','
psql>\a
psql>\o '/tmp/output.csv'
psql>SELECT * from users;
psql>\q

它们都可以在脚本中使用，但我更喜欢第1种。

4 pgadmin，但这是不可编写脚本的。

PSQL可以帮你做到这一点:

edd@ron:~$ psql -d beancounter -t -A -F"," \
                -c "select date, symbol, day_close " \
                   "from stockprices where symbol like 'I%' " \
                   "and date >= '2009-10-02'"
2009-10-02,IBM,119.02
2009-10-02,IEF,92.77
2009-10-02,IEV,37.05
2009-10-02,IJH,66.18
2009-10-02,IJR,50.33
2009-10-02,ILF,42.24
2009-10-02,INTC,18.97
2009-10-02,IP,21.39
edd@ron:~$

有关此处使用的选项的帮助，请参阅man psql。

我写了一个叫做psql2csv的小工具，它封装COPY查询TO STDOUT模式，生成合适的CSV。它的接口类似于psql。

psql2csv [OPTIONS] < QUERY
psql2csv [OPTIONS] QUERY

查询被假定为STDIN的内容(如果存在)或最后一个参数。所有其他参数都被转发到psql，除了以下参数:

-h, --help           show help, then exit
--encoding=ENCODING  use a different encoding than UTF8 (Excel likes LATIN1)
--no-header          do not output a header

import json
cursor = conn.cursor()
qry = """ SELECT details FROM test_csvfile """ 
cursor.execute(qry)
rows = cursor.fetchall()

value = json.dumps(rows)

with open("/home/asha/Desktop/Income_output.json","w+") as f:
    f.write(value)
print 'Saved to File Successfully'

应@skeller88的要求，我将我的评论作为一个答案重新发布，这样就不会被那些没有阅读每个回复的人所遗漏……

DataGrip的问题在于它控制了你的钱包。它不是免费的。在DBeaver .io上试试社区版的DBeaver。它是一个面向SQL程序员、dba和分析师的自由/开源多平台数据库工具，支持所有流行的数据库:MySQL、PostgreSQL、SQLite、Oracle、DB2、SQL Server、Sybase、MS Access、Teradata、Firebird、Hive、Presto等。

DBeaver Community Edition使得连接到数据库、发出查询以检索数据、然后下载结果集以将其保存为CSV、JSON、SQL或其他常见数据格式变得非常简单。对于Postgres的TOAD, SQL Server的TOAD，或者Oracle的TOAD，它是一个可行的自由/开源软件竞争对手。

I have no affiliation with DBeaver. I love the price and functionality, but I wish they would open up the DBeaver/Eclipse application more and made it easy to add analytics widgets to DBeaver / Eclipse, rather than requiring users to pay for the annual subscription to create graphs and charts directly within the application. My Java coding skills are rusty and I don't feel like taking weeks to relearn how to build Eclipse widgets, only to find that DBeaver has disabled the ability to add third-party widgets to the DBeaver Community Edition.

DBeaver用户是否了解如何创建要添加到社区版的分析小部件?