我想将数据从CSV文件导入到现有的数据库表中。我不想保存CSV文件，只是从它的数据，并把它放入现有的表。我使用Ruby 1.9.2和Rails 3。
这是我的桌子:
create_table "mouldings", :force => true do |t|
t.string "suppliers_code"
t.datetime "created_at"
t.datetime "updated_at"
t.string "name"
t.integer "supplier_id"
t.decimal "length", :precision => 3, :scale => 2
t.decimal "cost", :precision => 4, :scale => 2
t.integer "width"
t.integer "depth"
end
你能给我一些代码，告诉我最好的方法，谢谢。
当前回答
如果您想使用SmartCSV
all_data = SmarterCSV.process(
params[:file].tempfile,
{
:col_sep => "\t",
:row_sep => "\n"
}
)
这表示每个行“\t”中以制表符分隔的数据，行由新行“\n”分隔
其他回答
如果您想使用SmartCSV
all_data = SmarterCSV.process(
params[:file].tempfile,
{
:col_sep => "\t",
:row_sep => "\n"
}
)
这表示每个行“\t”中以制表符分隔的数据，行由新行“\n”分隔
smarter_csv gem是专门为这个用例创建的:从CSV文件读取数据并快速创建数据库条目。
require 'smarter_csv'
options = {}
SmarterCSV.process('input_file.csv', options) do |chunk|
chunk.each do |data_hash|
Moulding.create!( data_hash )
end
end
您可以使用chunk_size选项一次读取N个csv-行，然后在内部循环中使用Resque生成将创建新记录的作业，而不是立即创建它们——这样您就可以将生成条目的负载分散到多个工作者。
参见: https://github.com/tilo/smarter_csv
使用这个宝石: https://rubygems.org/gems/active_record_importer
class Moulding < ActiveRecord::Base
acts_as_importable
end
那么你现在可以使用:
Moulding.import!(file: File.open(PATH_TO_FILE))
只要确保标题与表的列名匹配即可
你可以试试Upsert:
require 'upsert' # add this to your Gemfile
require 'csv'
u = Upsert.new Moulding.connection, Moulding.table_name
CSV.foreach(file, headers: true) do |row|
selector = { name: row['name'] } # this treats "name" as the primary key and prevents the creation of duplicates by name
setter = row.to_hash
u.row selector, setter
end
如果这是您想要的，您还可以考虑从表中删除自动递增的主键，并将主键设置为name。或者，如果有一些组成主键的属性组合，则将其用作选择器。不需要索引，这样会更快。
最好将数据库相关的进程包装在事务块中。代码片段blow是将一组语言播种到语言模型的完整过程，
require 'csv'
namespace :lan do
desc 'Seed initial languages data with language & code'
task init_data: :environment do
puts '>>> Initializing Languages Data Table'
ActiveRecord::Base.transaction do
csv_path = File.expand_path('languages.csv', File.dirname(__FILE__))
csv_str = File.read(csv_path)
csv = CSV.new(csv_str).to_a
csv.each do |lan_set|
lan_code = lan_set[0]
lan_str = lan_set[1]
Language.create!(language: lan_str, code: lan_code)
print '.'
end
end
puts ''
puts '>>> Languages Database Table Initialization Completed'
end
end
下面的代码片段是languages.csv文件的一部分，
aa,Afar
ab,Abkhazian
af,Afrikaans
ak,Akan
am,Amharic
ar,Arabic
as,Assamese
ay,Aymara
az,Azerbaijani
ba,Bashkir
...
