我有一个来自客户端的非规范化事件日记CSV,我试图将其加载到MySQL表中,以便我可以重构成一个正常的格式。我创建了一个名为“CSVImport”的表,它有一个字段为CSV文件的每一列。CSV包含99列,所以这本身就已经是一项艰巨的任务:

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

表上没有约束,所有字段都包含VARCHAR(256)值,除了包含计数(用INT表示)、是/否(用BIT表示)、价格(用DECIMAL表示)和文本介绍(用text表示)的列。

我尝试将数据加载到文件中:

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

整个表被NULL填充。

我认为问题在于文本简介包含多行,MySQL解析文件时就好像每个新行对应一个数据库行一样。我可以毫无问题地将文件加载到OpenOffice中。

csv文件包含2593行和570条记录。第一行包含列名。我认为它是用逗号分隔的,文本显然是用双引号分隔的。

更新:

如果有疑问,请阅读手册:http://dev.mysql.com/doc/refman/5.0/en/load-data.html

我在LOAD DATA语句中添加了一些OpenOffice智能推断的信息,现在它加载了正确数量的记录:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

但是仍然有很多完全为空的记录,没有一个数据被加载似乎在正确的地方。


当前回答

我看到一些奇怪的东西。用于转义的字符与用于封闭的字符相同。因此,当引擎发现一个“”时,它不知道该做什么,我认为这就是为什么似乎没有什么东西在正确的地方。 我觉得如果去掉了escape这条线,应该会跑得很棒。如:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

除非你分析(手动的,视觉的,…)你的CSV和找到哪个字符用于转义。有时是“\”。但如果你没有,就不要使用它。

其他回答

如何将csv文件导入sql表

文件示例:Overseas_trade_index data CSV文件

步骤:

Need to create table for overseas_trade_index. Need to create columns related to csv file. SQL Query: ( id int not null primary key auto_increment, series_reference varchar (60), period varchar (60), data_value decimal(60,0), status varchar (60), units varchar (60), magnitude int(60), subject text(60), group text(60), series_title_1 varchar (60), series_title_2 varchar (60), series_title_3 varchar (60), series_title_4 varchar (60), series_title_5 varchar (60), ); Need to connect mysql database in terminal. =>show databases; =>use database; =>show tables; Please enter this command to import the csv data to mysql tables. load data infile '/home/desktop/Documents/overseas.csv' into table trade_index fields terminated by ',' lines terminated by '\n' (series_reference,period,data_value,status,units,magnitude,subject,series_title1,series_title_2,series_title_3,series_title_4,series_title_5); Find this overseas trade index data on sqldatabase: select * from trade_index;

如果你使用Intellij https://www.jetbrains.com/datagrip/features/importexport.html

我知道我的回答有点晚了,但我想提一些其他的方法。 最简单的方法是使用命令行。具体步骤如下:

以如下命令进入MySQL命令行:

Mysql -u my_user_name -p

在数据库中创建一个表

使用new_schema; 创建表employee_details ( id的整数, employee_name VARCHAR (100), employee_age整数, 主键(id) );

导入CSV文件到表格中。我们可以指定文件路径,也可以将文件存储在MySQL服务器的默认目录中。

LOAD DATA INFILE“导出csv文件的路径” INTO TABLE employee_details 以','结尾的字段 忽略1行;

这是众多解决方案中的唯一一个,我在本教程中找到了它 如果将CSV文件加载到MySQL数据库是你的日常任务,那么最好将这个过程自动化。在这种情况下,您可以使用一些第三方工具,允许您在计划中加载数据。

试试这个,对我很管用

    LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' IGNORE 1 ROWS;

IGNORE 1 ROWS这里忽略包含字段名的第一行。注意,对于文件名,必须键入文件的绝对路径。

另一个解决方案是使用csvkit套件中的csvsql工具。

使用的例子:

csvsql --db mysql://$user:$password@localhost/$database --insert --tables $tablename  $file

该工具可以自动推断数据类型(默认行为),创建表并将数据插入到创建的表中。——override选项可以用来删除已经存在的表。——insert选项——从文件中填充表。

安装套件

pip install csvkit

前提条件:python-dev, libmysqlclient-dev, MySQL-python

apt-get install python-dev libmysqlclient-dev
pip install MySQL-python