是否有一种直接的方法将CSV文件的内容导入到记录数组中,就像R的read.table(), read.delim()和read.csv()将数据导入到R数据框架中一样?
或者我应该使用csv.reader(),然后应用numpy.core.records.fromrecords()?
是否有一种直接的方法将CSV文件的内容导入到记录数组中,就像R的read.table(), read.delim()和read.csv()将数据导入到R数据框架中一样?
或者我应该使用csv.reader(),然后应用numpy.core.records.fromrecords()?
当前回答
这件作品很有魅力……
import csv
with open("data.csv", 'r') as f:
data = list(csv.reader(f, delimiter=";"))
import numpy as np
data = np.array(data, dtype=np.float)
其他回答
这是一个非常简单的任务,最好的方法如下
import pandas as pd
import numpy as np
df = pd.read_csv(r'C:\Users\Ron\Desktop\Clients.csv') #read the file (put 'r' before the path string to address any special characters in the file such as \). Don't forget to put the file name at the end of the path + ".csv"
print(df)`
y = np.array(df)
使用numpy.loadtxt
一个非常简单的方法。但它要求所有元素都是float (int等)
import numpy as np
data = np.loadtxt('c:\\1.csv',delimiter=',',skiprows=0)
当我尝试使用NumPy和Pandas两种方式时,使用Pandas有很多优点:
快 减少CPU占用 与NumPy genfromttxt相比,RAM占用了1/3
这是我的测试代码:
$ for f in test_pandas.py test_numpy_csv.py ; do /usr/bin/time python $f; done
2.94user 0.41system 0:03.05elapsed 109%CPU (0avgtext+0avgdata 502068maxresident)k
0inputs+24outputs (0major+107147minor)pagefaults 0swaps
23.29user 0.72system 0:23.72elapsed 101%CPU (0avgtext+0avgdata 1680888maxresident)k
0inputs+0outputs (0major+416145minor)pagefaults 0swaps
test_numpy_csv.py
from numpy import genfromtxt
train = genfromtxt('/home/hvn/me/notebook/train.csv', delimiter=',')
test_pandas.py
from pandas import read_csv
df = read_csv('/home/hvn/me/notebook/train.csv')
数据文件:
du -h ~/me/notebook/train.csv
59M /home/hvn/me/notebook/train.csv
在NumPy和熊猫版本:
$ pip freeze | egrep -i 'pandas|numpy'
numpy==1.13.3
pandas==0.20.2
我试了一下:
from numpy import genfromtxt
genfromtxt(fname = dest_file, dtype = (<whatever options>))
对比:
import csv
import numpy as np
with open(dest_file,'r') as dest_f:
data_iter = csv.reader(dest_f,
delimiter = delimiter,
quotechar = '"')
data = [data for data in data_iter]
data_array = np.asarray(data, dtype = <whatever options>)
对460万行约70列进行了分析,发现NumPy路径花费了2分16秒,csv-list理解方法花费了13秒。
我会推荐csv-list理解方法,因为它很可能依赖于预编译的库,而不是像NumPy那样依赖解释器。我怀疑pandas方法也有类似的解释器开销。
我试了一下:
import pandas as p
import numpy as n
closingValue = p.read_csv("<FILENAME>", usecols=[4], dtype=float)
print(closingValue)