我想将数据从CSV文件导入到现有的数据库表中。我不想保存CSV文件,只是从它的数据,并把它放入现有的表。我使用Ruby 1.9.2和Rails 3。

这是我的桌子:

create_table "mouldings", :force => true do |t|
  t.string   "suppliers_code"
  t.datetime "created_at"
  t.datetime "updated_at"
  t.string   "name"
  t.integer  "supplier_id"
  t.decimal  "length",         :precision => 3, :scale => 2
  t.decimal  "cost",           :precision => 4, :scale => 2
  t.integer  "width"
  t.integer  "depth"
end

你能给我一些代码,告诉我最好的方法,谢谢。


当前回答

yfeldblum回答的简单版本,更简单,也适用于大文件:

require 'csv'    

CSV.foreach(filename, headers: true) do |row|
  Moulding.create!(row.to_hash)
end

不需要with_indifferent_access或symbolize_keys,也不需要先将文件读入字符串。

它不把整个文件一次保存在内存中,而是逐行读取,每行创建一个Moulding。

其他回答

如果您想使用SmartCSV

all_data = SmarterCSV.process(
             params[:file].tempfile, 
             { 
               :col_sep => "\t", 
               :row_sep => "\n" 
             }
           )

这表示每个行“\t”中以制表符分隔的数据,行由新行“\n”分隔

yfeldblum回答的简单版本,更简单,也适用于大文件:

require 'csv'    

CSV.foreach(filename, headers: true) do |row|
  Moulding.create!(row.to_hash)
end

不需要with_indifferent_access或symbolize_keys,也不需要先将文件读入字符串。

它不把整个文件一次保存在内存中,而是逐行读取,每行创建一个Moulding。

require 'csv'    

csv_text = File.read('...')
csv = CSV.parse(csv_text, :headers => true)
csv.each do |row|
  Moulding.create!(row.to_hash)
end

我知道这是一个老问题,但它仍然在谷歌的前10个链接。

逐个保存行不是很有效,因为它会导致循环中的数据库调用,您最好避免这种情况,特别是当您需要插入大量数据时。

使用批处理插入更好(而且更快)。

INSERT INTO `mouldings` (suppliers_code, name, cost)
VALUES
    ('s1', 'supplier1', 1.111), 
    ('s2', 'supplier2', '2.222')

您可以手动构建这样的查询,而不是使用Model.connection。执行(原始SQL字符串)(不推荐) 或者使用gem activerecord-import(它于2010年8月11日首次发布)在这种情况下,只需将数据放在数组行中并调用Model。进口的行

详情请参阅gem文档

smarter_csv gem是专门为这个用例创建的:从CSV文件读取数据并快速创建数据库条目。

  require 'smarter_csv'
  options = {}
  SmarterCSV.process('input_file.csv', options) do |chunk|
    chunk.each do |data_hash|
      Moulding.create!( data_hash )
    end
  end

您可以使用chunk_size选项一次读取N个csv-行,然后在内部循环中使用Resque生成将创建新记录的作业,而不是立即创建它们——这样您就可以将生成条目的负载分散到多个工作者。

参见: https://github.com/tilo/smarter_csv