如何将CSV数据读到NumPy的记录数组?

是否有一种直接的方法将CSV文件的内容导入到记录数组中，就像R的read.table()， read.delim()和read.csv()将数据导入到R数据框架中一样?

或者我应该使用csv.reader()，然后应用numpy.core.records.fromrecords()?

当前回答

使用numpy.loadtxt

一个非常简单的方法。但它要求所有元素都是float (int等)

import numpy as np 
data = np.loadtxt('c:\\1.csv',delimiter=',',skiprows=0)

其他回答

使用pandas.read_csv:

import pandas as pd
df = pd.read_csv('myfile.csv', sep=',', header=None)
print(df.values)

array([[ 1. ,  2. ,  3. ],
       [ 4. ,  5.5,  6. ]])

这就提供了一个pandas DataFrame，它提供了许多numpy记录数组无法直接提供的有用的数据操作函数。

DataFrame是一个2维标记数据结构，列为可能是不同的类型。你可以把它想象成一个电子表格 SQL表……

我还推荐numpy.genfromtxt。然而，由于问题要求的是记录数组，而不是普通数组，因此需要在genfromtxt调用中添加dtype=None参数:

import numpy as np
np.genfromtxt('myfile.csv', delimiter=',')

对于下面的'myfile.csv':

1.0, 2, 3
4, 5.5, 6

上面的代码给出了一个数组:

array([[ 1. ,  2. ,  3. ],
       [ 4. ,  5.5,  6. ]])

and

np.genfromtxt('myfile.csv', delimiter=',', dtype=None)

给出一个记录数组:

array([(1.0, 2.0, 3), (4.0, 5.5, 6)], 
      dtype=[('f0', '<f8'), ('f1', '<f8'), ('f2', '<i4')])

这样做的好处是可以轻松导入具有多种数据类型(包括字符串)的文件。

您可以使用此代码将CSV文件数据发送到数组中:

import numpy as np
csv = np.genfromtxt('test.csv', delimiter=",")
print(csv)

这是最简单的方法:

import csv
with open('testfile.csv', newline='') as csvfile:
    data = list(csv.reader(csvfile))

现在数据中的每个条目都是一个记录，表示为一个数组。你有一个二维数组。这节省了我很多时间。

我建议使用表(pip3 install tables)。您可以使用pandas将.csv文件保存到.h5。

import pandas as pd
data = pd.read_csv("dataset.csv")
store = pd.HDFStore('dataset.h5')
store['mydata'] = data
store.close()

然后，即使是大量的数据，您也可以轻松地用更少的时间将数据加载到NumPy数组中。

import pandas as pd
store = pd.HDFStore('dataset.h5')
data = store['mydata']
store.close()

# Data in NumPy format
data = data.values

还可以尝试recfromcsv()，它可以猜测数据类型并返回正确格式化的记录数组。

推荐文章