是否有一种直接的方法将CSV文件的内容导入到记录数组中,就像R的read.table(), read.delim()和read.csv()将数据导入到R数据框架中一样?
或者我应该使用csv.reader(),然后应用numpy.core.records.fromrecords()?
是否有一种直接的方法将CSV文件的内容导入到记录数组中,就像R的read.table(), read.delim()和read.csv()将数据导入到R数据框架中一样?
或者我应该使用csv.reader(),然后应用numpy.core.records.fromrecords()?
当前回答
可在最新的熊猫和numpy版本。
import pandas as pd
import numpy as np
data = pd.read_csv('data.csv', header=None)
# Discover, visualize, and preprocess data using pandas if needed.
data = data.to_numpy()
其他回答
这是一个非常简单的任务,最好的方法如下
import pandas as pd
import numpy as np
df = pd.read_csv(r'C:\Users\Ron\Desktop\Clients.csv') #read the file (put 'r' before the path string to address any special characters in the file such as \). Don't forget to put the file name at the end of the path + ".csv"
print(df)`
y = np.array(df)
In [329]: %time my_data = genfromtxt('one.csv', delimiter=',')
CPU times: user 19.8 s, sys: 4.58 s, total: 24.4 s
Wall time: 24.4 s
In [330]: %time df = pd.read_csv("one.csv", skiprows=20)
CPU times: user 1.06 s, sys: 312 ms, total: 1.38 s
Wall time: 1.38 s
使用numpy.genfromtxt(),将分隔符kwarg设置为逗号:
from numpy import genfromtxt
my_data = genfromtxt('my_file.csv', delimiter=',')
使用pandas.read_csv:
import pandas as pd
df = pd.read_csv('myfile.csv', sep=',', header=None)
print(df.values)
array([[ 1. , 2. , 3. ],
[ 4. , 5.5, 6. ]])
这就提供了一个pandas DataFrame,它提供了许多numpy记录数组无法直接提供的有用的数据操作函数。
DataFrame是一个2维标记数据结构,列为 可能是不同的类型。你可以把它想象成一个电子表格 SQL表……
我还推荐numpy.genfromtxt。然而,由于问题要求的是记录数组,而不是普通数组,因此需要在genfromtxt调用中添加dtype=None参数:
import numpy as np
np.genfromtxt('myfile.csv', delimiter=',')
对于下面的'myfile.csv':
1.0, 2, 3
4, 5.5, 6
上面的代码给出了一个数组:
array([[ 1. , 2. , 3. ],
[ 4. , 5.5, 6. ]])
and
np.genfromtxt('myfile.csv', delimiter=',', dtype=None)
给出一个记录数组:
array([(1.0, 2.0, 3), (4.0, 5.5, 6)],
dtype=[('f0', '<f8'), ('f1', '<f8'), ('f2', '<i4')])
这样做的好处是可以轻松导入具有多种数据类型(包括字符串)的文件。
可在最新的熊猫和numpy版本。
import pandas as pd
import numpy as np
data = pd.read_csv('data.csv', header=None)
# Discover, visualize, and preprocess data using pandas if needed.
data = data.to_numpy()