如何将CSV文件导入MySQL表?

我有一个来自客户端的非规范化事件日记CSV，我试图将其加载到MySQL表中，以便我可以重构成一个正常的格式。我创建了一个名为“CSVImport”的表，它有一个字段为CSV文件的每一列。CSV包含99列，所以这本身就已经是一项艰巨的任务:

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

表上没有约束，所有字段都包含VARCHAR(256)值，除了包含计数(用INT表示)、是/否(用BIT表示)、价格(用DECIMAL表示)和文本介绍(用text表示)的列。

我尝试将数据加载到文件中:

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

整个表被NULL填充。

我认为问题在于文本简介包含多行，MySQL解析文件时就好像每个新行对应一个数据库行一样。我可以毫无问题地将文件加载到OpenOffice中。

csv文件包含2593行和570条记录。第一行包含列名。我认为它是用逗号分隔的，文本显然是用双引号分隔的。

更新:

如果有疑问，请阅读手册:http://dev.mysql.com/doc/refman/5.0/en/load-data.html

我在LOAD DATA语句中添加了一些OpenOffice智能推断的信息，现在它加载了正确数量的记录:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

但是仍然有很多完全为空的记录，没有一个数据被加载似乎在正确的地方。

当前回答

我用这种方法在0.046秒内导入了超过100K条记录(~5MB)

你可以这样做:

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

包含最后一行是非常重要的，如果你有多个字段，通常会跳过最后一个字段。

LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

然后，假设您将第一行作为字段的标题，您可能还想包括这一行

IGNORE 1 ROWS

如果您的文件有一个标题行，它看起来就像这样。

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(field_1,field_2 , field_3);

2017-03-21 16:34:46

其他回答

修改服务器名、用户名、密码、数据库名、文件路径、表名和你想要插入的数据库字段

<?php
    $servername = "localhost";
    $username = "root";
    $password = "";
    $dbname = "bd_dashboard";
    //For create connection
    $conn = new mysqli($servername, $username, $password, $dbname);

    $query = "LOAD DATA LOCAL INFILE 
                'C:/Users/lenovo/Desktop/my_data.csv'
                INTO TABLE test_tab
                FIELDS TERMINATED BY ','
                LINES TERMINATED BY '\n'
                IGNORE 1 LINES
                (name,mob)";
    if (!$result = mysqli_query($conn, $query)){
        echo '<script>alert("Oops... Some Error occured.");</script>';
        exit();
            //exit(mysqli_error());
       }else{
        echo '<script>alert("Data Inserted Successfully.");</script>'
       }
    ?>

2017-06-13 06:54:26

我使用mysql工作台来做同样的工作。

创建新模式打开新创建的模式右键点击“表格”，选择“表格数据导入向导” 给出CSV文件路径和表名，最后配置列类型，因为向导会根据它们的值设置默认列类型。

注意:查看mysql工作台的日志文件，使用"tail -f [mysqlworkbenchpath]/log/wb*.log"

2019-03-01 03:40:25

我用这种方法在0.046秒内导入了超过100K条记录(~5MB)

你可以这样做:

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

包含最后一行是非常重要的，如果你有多个字段，通常会跳过最后一个字段。

LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

然后，假设您将第一行作为字段的标题，您可能还想包括这一行

IGNORE 1 ROWS

如果您的文件有一个标题行，它看起来就像这样。

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(field_1,field_2 , field_3);

2017-03-21 16:34:46

mysql命令行在导入时容易出现太多问题。你可以这样做:

使用excel编辑标题名称，使其没有空格另存为。csv 使用免费的Navicat Lite Sql浏览器导入并自动创建一个新表(给它一个名字) 打开新表，为ID插入一个主要的汽车编号列根据需要更改列的类型。完成了!

2012-09-25 00:53:44

我使用phpmyadmin简单地做到了这一点。我遵循了@Farhan的步骤，但所有数据都是在单列中输入的。我是怎么做的:

创建CSV文件，删除带列名的标题行。只保存数据。我创建了一个列名与csv列匹配的表。记住为每一列分配适当的类型。我只是选择导入，然后点击导入选项卡。在浏览中，我选择了CSV文件，并保持所有选项，因为它是。令我惊讶的是，所有数据都成功地导入到相应的列中。

2020-07-04 15:03:18

如何将CSV文件导入MySQL表?

推荐文章

最新文章

标签