如何将CSV文件导入MySQL表?

我有一个来自客户端的非规范化事件日记CSV，我试图将其加载到MySQL表中，以便我可以重构成一个正常的格式。我创建了一个名为“CSVImport”的表，它有一个字段为CSV文件的每一列。CSV包含99列，所以这本身就已经是一项艰巨的任务:

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

表上没有约束，所有字段都包含VARCHAR(256)值，除了包含计数(用INT表示)、是/否(用BIT表示)、价格(用DECIMAL表示)和文本介绍(用text表示)的列。

我尝试将数据加载到文件中:

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

整个表被NULL填充。

我认为问题在于文本简介包含多行，MySQL解析文件时就好像每个新行对应一个数据库行一样。我可以毫无问题地将文件加载到OpenOffice中。

csv文件包含2593行和570条记录。第一行包含列名。我认为它是用逗号分隔的，文本显然是用双引号分隔的。

更新:

如果有疑问，请阅读手册:http://dev.mysql.com/doc/refman/5.0/en/load-data.html

我在LOAD DATA语句中添加了一些OpenOffice智能推断的信息，现在它加载了正确数量的记录:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

但是仍然有很多完全为空的记录，没有一个数据被加载似乎在正确的地方。

当前回答

使用mysqlimport加载一个表到数据库:

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

我在http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/找到的

要使分隔符为制表符，请使用——fields-terminated-by='\t'

2013-06-12 16:56:03

其他回答

如果你使用的是装有Excel电子表格的windows电脑，那么新的mySql插件将会是非凡的。甲骨文的人在这个软件上做得很好。您可以直接从Excel建立数据库连接。这个插件会分析你的数据，并为你建立与数据一致的表格。我有一些超大的csv文件要转换。这个工具大大节省了时间。

http://dev.mysql.com/downloads/windows/excel/

您可以从Excel内部进行更新，这些更新将在线填充到数据库中。这对于在超级便宜的GoDaddy共享主机上创建的mySql文件非常有效。(注意，当你在GoDaddy上创建表时，你必须选择一些非标准设置来启用数据库的离线访问…)

有了这个插件，你可以在XL电子表格和在线mySql数据存储之间实现纯交互。

2014-12-23 09:00:16

PHP查询导入csv文件到mysql数据库

$query = <<<EOF
            LOAD DATA LOCAL INFILE '$file'
             INTO TABLE users
             FIELDS TERMINATED BY ','
             LINES TERMINATED BY '\n'
             IGNORE 1 LINES
            (name,mobile,email)
    EOF;
if (!$result = mysqli_query($this->db, $query))
   {
        exit(mysqli_error($this->db));
   }

** CSV文件样本数据**

name,mobile,email
Christopher Gritton,570-686-3439,ChristopherKGritton@inbound.plus
Brandon Wilson,541-309-5149,BrandonMWilson@inbound.plus
Craig White,516-795-8065,CraigJWhite@inbound.plus
David Whitney,713-214-3966,DavidCWhitney@inbound.plus

2016-09-28 09:02:01

试试这个，对我很管用

    LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' IGNORE 1 ROWS;

IGNORE 1 ROWS这里忽略包含字段名的第一行。注意，对于文件名，必须键入文件的绝对路径。

2017-08-16 01:44:25

我用这种方法在0.046秒内导入了超过100K条记录(~5MB)

你可以这样做:

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

包含最后一行是非常重要的，如果你有多个字段，通常会跳过最后一个字段。

LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

然后，假设您将第一行作为字段的标题，您可能还想包括这一行

IGNORE 1 ROWS

如果您的文件有一个标题行，它看起来就像这样。

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(field_1,field_2 , field_3);

2017-03-21 16:34:46

使用mysqlimport加载一个表到数据库:

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

我在http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/找到的

要使分隔符为制表符，请使用——fields-terminated-by='\t'

2013-06-12 16:56:03

如何将CSV文件导入MySQL表?

推荐文章

最新文章

标签