是否有一种直接的方法将CSV文件的内容导入到记录数组中,就像R的read.table(), read.delim()和read.csv()将数据导入到R数据框架中一样?
或者我应该使用csv.reader(),然后应用numpy.core.records.fromrecords()?
是否有一种直接的方法将CSV文件的内容导入到记录数组中,就像R的read.table(), read.delim()和read.csv()将数据导入到R数据框架中一样?
或者我应该使用csv.reader(),然后应用numpy.core.records.fromrecords()?
当前回答
可在最新的熊猫和numpy版本。
import pandas as pd
import numpy as np
data = pd.read_csv('data.csv', header=None)
# Discover, visualize, and preprocess data using pandas if needed.
data = data.to_numpy()
其他回答
使用numpy.genfromtxt(),将分隔符kwarg设置为逗号:
from numpy import genfromtxt
my_data = genfromtxt('my_file.csv', delimiter=',')
我建议使用表(pip3 install tables)。您可以使用pandas将.csv文件保存到.h5。
import pandas as pd
data = pd.read_csv("dataset.csv")
store = pd.HDFStore('dataset.h5')
store['mydata'] = data
store.close()
然后,即使是大量的数据,您也可以轻松地用更少的时间将数据加载到NumPy数组中。
import pandas as pd
store = pd.HDFStore('dataset.h5')
data = store['mydata']
store.close()
# Data in NumPy format
data = data.values
还可以尝试recfromcsv(),它可以猜测数据类型并返回正确格式化的记录数组。
使用numpy.loadtxt
一个非常简单的方法。但它要求所有元素都是float (int等)
import numpy as np
data = np.loadtxt('c:\\1.csv',delimiter=',',skiprows=0)
这件作品很有魅力……
import csv
with open("data.csv", 'r') as f:
data = list(csv.reader(f, delimiter=";"))
import numpy as np
data = np.array(data, dtype=np.float)