如何将CSV文件导入MySQL表?

我有一个来自客户端的非规范化事件日记CSV，我试图将其加载到MySQL表中，以便我可以重构成一个正常的格式。我创建了一个名为“CSVImport”的表，它有一个字段为CSV文件的每一列。CSV包含99列，所以这本身就已经是一项艰巨的任务:

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

表上没有约束，所有字段都包含VARCHAR(256)值，除了包含计数(用INT表示)、是/否(用BIT表示)、价格(用DECIMAL表示)和文本介绍(用text表示)的列。

我尝试将数据加载到文件中:

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

整个表被NULL填充。

我认为问题在于文本简介包含多行，MySQL解析文件时就好像每个新行对应一个数据库行一样。我可以毫无问题地将文件加载到OpenOffice中。

csv文件包含2593行和570条记录。第一行包含列名。我认为它是用逗号分隔的，文本显然是用双引号分隔的。

更新:

如果有疑问，请阅读手册:http://dev.mysql.com/doc/refman/5.0/en/load-data.html

我在LOAD DATA语句中添加了一些OpenOffice智能推断的信息，现在它加载了正确数量的记录:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

但是仍然有很多完全为空的记录，没有一个数据被加载似乎在正确的地方。

当前回答

使用mysqlimport加载一个表到数据库:

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

我在http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/找到的

要使分隔符为制表符，请使用——fields-terminated-by='\t'

2013-06-12 16:56:03

其他回答

使用mysqlimport加载一个表到数据库:

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

我在http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/找到的

要使分隔符为制表符，请使用——fields-terminated-by='\t'

2013-06-12 16:56:03

我知道我的回答有点晚了，但我想提一些其他的方法。最简单的方法是使用命令行。具体步骤如下:

以如下命令进入MySQL命令行:

Mysql -u my_user_name -p

在数据库中创建一个表

使用new_schema; 创建表employee_details ( id的整数, employee_name VARCHAR (100), employee_age整数, 主键(id) ）;

导入CSV文件到表格中。我们可以指定文件路径，也可以将文件存储在MySQL服务器的默认目录中。

LOAD DATA INFILE“导出csv文件的路径” INTO TABLE employee_details 以'，'结尾的字段忽略1行;

这是众多解决方案中的唯一一个，我在本教程中找到了它如果将CSV文件加载到MySQL数据库是你的日常任务，那么最好将这个过程自动化。在这种情况下，您可以使用一些第三方工具，允许您在计划中加载数据。

2021-11-10 16:20:03

我看到一些奇怪的东西。用于转义的字符与用于封闭的字符相同。因此，当引擎发现一个“”时，它不知道该做什么，我认为这就是为什么似乎没有什么东西在正确的地方。我觉得如果去掉了escape这条线，应该会跑得很棒。如:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

除非你分析(手动的，视觉的，…)你的CSV和找到哪个字符用于转义。有时是“\”。但如果你没有，就不要使用它。

2018-12-17 10:57:11

phpMyAdmin可以处理CSV导入。以下是步骤:

准备CSV文件，使字段与MySQL表字段的顺序相同。从CSV中删除标题行(如果有的话)，以便文件中只有数据。进入phpMyAdmin界面。在左侧菜单中选择表。单击顶部的导入按钮。浏览到CSV文件。选择选项“CSV using LOAD DATA”。在“以”结尾的字段中输入“，”。按与数据库表中相同的顺序输入列名。点击go按钮，你就完成了。

这是我为将来使用准备的笔记，如果其他人能从中受益，就分享在这里。

2014-05-14 12:10:12

我使用phpmyadmin简单地做到了这一点。我遵循了@Farhan的步骤，但所有数据都是在单列中输入的。我是怎么做的:

创建CSV文件，删除带列名的标题行。只保存数据。我创建了一个列名与csv列匹配的表。记住为每一列分配适当的类型。我只是选择导入，然后点击导入选项卡。在浏览中，我选择了CSV文件，并保持所有选项，因为它是。令我惊讶的是，所有数据都成功地导入到相应的列中。

2020-07-04 15:03:18

如何将CSV文件导入MySQL表?

推荐文章

最新文章

标签