我正在寻求帮助,使用BULK INSERT将.csv文件导入SQL Server,我有一些基本的问题。
问题:
CSV文件的数据可能有,(逗号)之间(Ex: description),那么我如何使导入处理这些数据?
如果客户端从Excel中创建CSV,那么有逗号的数据被括在“”(双引号)[如下例],那么导入如何处理这一点?
我们如何跟踪某些行是否有坏数据,哪些导入被跳过?(导入会跳过不可导入的行)
下面是带标题的CSV示例:
Name,Class,Subject,ExamDate,Mark,Description
Prabhat,4,Math,2/10/2013,25,Test data for prabhat.
Murari,5,Science,2/11/2013,24,"Test data for his's test, where we can test 2nd ROW, Test."
sanjay,4,Science,,25,Test Only.
和SQL语句导入:
BULK INSERT SchoolsTemp
FROM 'C:\CSVData\Schools.csv'
WITH
(
FIRSTROW = 2,
FIELDTERMINATOR = ',', --CSV field delimiter
ROWTERMINATOR = '\n', --Use to shift the control to next row
TABLOCK
)
All of the answers here work great if your data is "clean" (no data constraint violations, etc.) and you have access to putting the file on the server. Some of the answers provided here stop at the first error (PK violation, data-loss error, etc.) and give you one error at a time if using SSMS's built in Import Task. If you want to gather all errors at once (in case you want to tell the person that gave you the .csv file to clean up their data), I recommend the following as an answer. This answer also gives you complete flexibility as you are "writing" the SQL yourself.
注意:我将假设您运行的是Windows操作系统,并且能够访问Excel和SSMS。如果没有,我相信你可以调整这个答案来满足你的需求。
Using Excel, open your .csv file. In an empty column you will write a formula that will build individual INSERTstatements like =CONCATENATE("INSERT INTO dbo.MyTable (FirstName, LastName) VALUES ('", A1, "', '", B1,"')", CHAR(10), "GO") where A1 is a cell that has the first name data and A2 has the last name data for example.
CHAR(10) adds a newline character to the final result and GO will allow us to run this INSERT and continue to the next even if there are any errors.
Highlight the cell with your =CONCATENATION() formula
Shift + End to highlight the same column in the rest of your rows
In the ribbon > Home > Editing > Fill > Click Down
This applies the formula all the way down the sheet so you don't have to copy-paste, drag, etc. down potentially thousands of rows by hand
Ctrl + C to copy the formulated SQL INSERT statements
Paste into SSMS
You will notice Excel, probably unexpectedly, added double quotes around each of your INSERT and GO commands. This is a "feature" (?) of copying multi-line values out of Excel. You can simply find and replace "INSERT and GO" with INSERT and GO respectively to clean that up.
Finally you are ready to run your import process
After the process completes, check the Messages window for any errors. You can select all the content (Ctrl + A) and copy into Excel and use a column filter to remove any successful messages and you are left with any and all the errors.
这个过程肯定会比这里的其他答案花费更长的时间,但是如果您的数据是“脏的”并且充满SQL违规,您至少可以一次性收集所有错误并将它们发送给提供数据的人(如果您的场景是这样的话)。
我知道这不是上述问题的确切解决方案,但对我来说,当我试图将数据从位于单独服务器上的一个数据库复制到我的本地时,这是一场噩梦。
我试图通过首先从服务器导出数据到CSV/txt,然后将其导入到我的本地表来做到这一点。
两种解决方案:写下查询以导入CSV或使用SSMS导入数据向导总是会产生错误(错误非常普遍,说明存在解析问题)。虽然我没有做任何特别的事情,只是导出到CSV,然后试图将CSV导入到本地DB,错误总是存在。
我试着查看映射部分和数据预览,但总是一团乱。我知道主要的问题是来自一个表列,其中包含JSON和SQL解析器处理错误。
所以最终,我想到了一个不同的解决方案,并想要分享它,以防其他人有类似的问题。
我所做的是在外部服务器上使用了导出向导。
下面是重复相同过程的步骤:
1)右键单击数据库,选择Tasks -> Export Data…
2)当向导打开时,选择“下一步”,在“数据源”的位置选择“SQL Server Native Client”。
在外部服务器的情况下,您很可能必须选择“使用SQL Server身份验证”的“身份验证模式:”。
3)点击下一步后,你必须选择目的地。
为此,再次选择“SQL Server Native Client”。
这一次,您可以提供本地(或其他外部DB) DB。
4)点击Next按钮后,你有两个选择,要么将整个表从一个DB复制到另一个DB,要么写下查询来指定要复制的确切数据。
在我的例子中,我不需要整个表(它太大了),而只是其中的一部分,所以我选择了“写一个查询来指定要传输的数据”。
我建议在使用Wizard之前,在一个单独的查询编辑器上写下并测试该查询。
5)最后,您需要指定将在其中选择数据的目标表。
我建议保留为[dbo]。[Query]或一些自定义表名,以防导出数据时会出错,或者如果您不确定数据,并希望在移动到所需的确切表之前进一步分析它。
现在通过点击下一步/完成按钮直接到向导的末尾。