是否有一种简单的方法可以从Linux命令行运行MySQL查询并以CSV格式输出结果?
以下是我现在正在做的:
mysql -u uid -ppwd -D dbname << EOQ | sed -e 's/ /,/g' | tee list.csv
select id, concat("\"",name,"\"") as name
from students
EOQ
当有很多列需要用引号括起来时，或者如果结果中有需要转义的引号，就会变得混乱。
当前回答
这个答案使用Python和一个流行的第三方库，PyMySQL。我添加它是因为Python的csv库足够强大，可以正确处理许多不同风格的.csv，而且没有其他答案使用Python代码与数据库交互。
import contextlib
import csv
import datetime
import os
# https://github.com/PyMySQL/PyMySQL
import pymysql
SQL_QUERY = """
SELECT * FROM my_table WHERE my_attribute = 'my_attribute';
"""
# embedding passwords in code gets nasty when you use version control
# the environment is not much better, but this is an example
# https://stackoverflow.com/questions/12461484
SQL_USER = os.environ['SQL_USER']
SQL_PASS = os.environ['SQL_PASS']
connection = pymysql.connect(host='localhost',
user=SQL_USER,
password=SQL_PASS,
db='dbname')
with contextlib.closing(connection):
with connection.cursor() as cursor:
cursor.execute(SQL_QUERY)
# Hope you have enough memory :)
results = cursor.fetchall()
output_file = 'my_query-{}.csv'.format(datetime.datetime.today().strftime('%Y-%m-%d'))
with open(output_file, 'w', newline='') as csvfile:
# http://stackoverflow.com/a/17725590/2958070 about lineterminator
csv_writer = csv.writer(csvfile, lineterminator='\n')
csv_writer.writerows(results)
其他回答
这里有一个相当粗糙的方法[1]:
mysql --user=wibble --password mydatabasename -B -e "select * from vehicle_categories;" | sed "s/'/\'/;s/\t/\",\"/g;s/^/\"/;s/$/\"/;s/\n//g" > vehicle_categories.csv
它运行得很好。不过，正则表达式再次证明只能写。
正则表达式的解释:
S ///意味着用第二个//替换第一个//之间的内容 结尾的“g”是一个修饰语，意思是“所有实例，而不仅仅是第一个” ^(在这里)表示行开始 $(在这个上下文中)表示行结束
所以，把它们放在一起:
s/'/\'/ Replace ' with \'
s/\t/\",\"/g Replace all \t (tab) with ","
s/^/\"/ at the beginning of the line place a "
s/$/\"/ At the end of the line, place a "
s/\n//g Replace all \n (newline) with nothing
我是在什么地方捡到的，但这不是我的功劳。
这很简单，它适用于任何不需要批处理模式或输出文件的东西:
select concat_ws(',',
concat('"', replace(field1, '"', '""'), '"'),
concat('"', replace(field2, '"', '""'), '"'),
concat('"', replace(field3, '"', '""'), '"'))
from your_table where etc;
解释:
—> Replace (field1， ' ' '， ' ' ' ') 每个结果都用引号括起来——> concat('"'， result1， '"') 在每个引用的结果之间使用逗号——> concat_ws('，'， quoted1, quoted2，…)
就是这样!
另外，如果在Bash命令行上执行查询，我认为可以使用tr命令将默认选项卡替换为任意分隔符。
$ echo "SELECT * FROM Table123" | mysql Database456 | tr "\t" ,
这个答案使用Python和一个流行的第三方库，PyMySQL。我添加它是因为Python的csv库足够强大，可以正确处理许多不同风格的.csv，而且没有其他答案使用Python代码与数据库交互。
import contextlib
import csv
import datetime
import os
# https://github.com/PyMySQL/PyMySQL
import pymysql
SQL_QUERY = """
SELECT * FROM my_table WHERE my_attribute = 'my_attribute';
"""
# embedding passwords in code gets nasty when you use version control
# the environment is not much better, but this is an example
# https://stackoverflow.com/questions/12461484
SQL_USER = os.environ['SQL_USER']
SQL_PASS = os.environ['SQL_PASS']
connection = pymysql.connect(host='localhost',
user=SQL_USER,
password=SQL_PASS,
db='dbname')
with contextlib.closing(connection):
with connection.cursor() as cursor:
cursor.execute(SQL_QUERY)
# Hope you have enough memory :)
results = cursor.fetchall()
output_file = 'my_query-{}.csv'.format(datetime.datetime.today().strftime('%Y-%m-%d'))
with open(output_file, 'w', newline='') as csvfile:
# http://stackoverflow.com/a/17725590/2958070 about lineterminator
csv_writer = csv.writer(csvfile, lineterminator='\n')
csv_writer.writerows(results)
到目前为止，除了MySQL Workbench之外，所有的解决方案都是不正确的，而且很可能对MySQL数据库中的某些内容不安全(即安全问题)。
MySQL Workbench(以及类似的phpMyAdmin)提供了一个正式的正确解决方案，但它们是为将输出下载到用户的位置而设计的。它们对于自动化数据导出之类的事情不是很有用。
这是不可能产生可靠的正确的CSV内容从mysql -B -e 'SELECT…'因为它不能编码回车符和字段中的空白。mysql的'-s'标志确实做反斜杠转义，并可能导致一个正确的解决方案。但是，使用脚本语言(具有良好的内部数据结构的语言，而不是Bash)和已经仔细解决编码问题的库要安全得多。
我想过为此写一个脚本，但当我想到我该怎么称呼它时，我突然想到要搜索同名的已有作品。虽然我还没有彻底讨论它，但mysql2csv看起来很有前途。不过，根据应用程序的不同，使用YAML方法指定SQL命令可能有吸引力，也可能没有吸引力。我对Ruby的最新版本的要求也不感兴趣，因为我的Ubuntu 12.04 (Precise穿山甲)笔记本电脑或Debian 6.0 (Squeeze)服务器都是标准版本。是的，我知道我可以使用RVM，但是我宁愿不为了这样一个简单的目的而维护RVM。
