我有一个熊猫数据帧，df：
c1 c2
0 10 100
1 11 110
2 12 120
如何迭代此数据帧的行？对于每一行，我希望能够通过列的名称访问其元素（单元格中的值）。例如：
for row in df.rows:
print(row['c1'], row['c2'])
我发现了一个类似的问题，建议使用以下任一项：
for date, row in df.T.iteritems():
for row in df.iterrows():
但我不知道row对象是什么，以及如何使用它。
当前回答
您可以编写自己的迭代器来实现namedtuple
from collections import namedtuple
def myiter(d, cols=None):
if cols is None:
v = d.values.tolist()
cols = d.columns.values.tolist()
else:
j = [d.columns.get_loc(c) for c in cols]
v = d.values[:, j].tolist()
n = namedtuple('MyTuple', cols)
for line in iter(v):
yield n(*line)
这与pd.DataFrame.itertuples直接相当。我的目标是以更高的效率执行相同的任务。
对于具有我的函数的给定数据帧：
list(myiter(df))
[MyTuple(c1=10, c2=100), MyTuple(c1=11, c2=110), MyTuple(c1=12, c2=120)]
或使用pd.DataFrame.itertuples：
list(df.itertuples(index=False))
[Pandas(c1=10, c2=100), Pandas(c1=11, c2=110), Pandas(c1=12, c2=120)]
全面测试我们测试使所有列可用并对列进行子设置。
def iterfullA(d):
return list(myiter(d))
def iterfullB(d):
return list(d.itertuples(index=False))
def itersubA(d):
return list(myiter(d, ['col3', 'col4', 'col5', 'col6', 'col7']))
def itersubB(d):
return list(d[['col3', 'col4', 'col5', 'col6', 'col7']].itertuples(index=False))
res = pd.DataFrame(
index=[10, 30, 100, 300, 1000, 3000, 10000, 30000],
columns='iterfullA iterfullB itersubA itersubB'.split(),
dtype=float
)
for i in res.index:
d = pd.DataFrame(np.random.randint(10, size=(i, 10))).add_prefix('col')
for j in res.columns:
stmt = '{}(d)'.format(j)
setp = 'from __main__ import d, {}'.format(j)
res.at[i, j] = timeit(stmt, setp, number=100)
res.groupby(res.columns.str[4:-1], axis=1).plot(loglog=True);
其他回答
除了这篇文章中的好答案，我将提出“分而治之”的方法，我写这个答案并不是为了废除其他好答案，而是为了用另一种对我有效的方法来实现它们。它有两个步骤，即拆分和合并熊猫数据帧：
分裂与征服的证明：
您不需要使用矢量化或任何其他方法将数据帧的类型转换为另一种类型您不需要将代码循环化，这通常需要额外的时间在我的例子中，iterrows（）和itertples（）在整个数据帧上都具有相同的性能根据您对切片索引的选择，您将能够以指数方式加快迭代。索引越高，迭代过程越快。
分裂与征服的缺点：
您不应该依赖于同一数据帧和不同切片的迭代过程。这意味着，如果你想从其他切片读取或写入，那么可能很难做到这一点。
===============分而治之=================
步骤1：分割/切片
在这一步中，我们将在整个数据帧上划分迭代。假设你要将一个CSV文件读入panda df，然后对其进行迭代。在这种情况下，我有5000000条记录，我要将其拆分为100000条记录。
注意：我需要重申，正如本页其他解决方案中解释的其他运行时分析一样，在df上搜索时，“记录数”与“运行时”成指数比例。基于我的数据基准，以下是结果：
Number of records | Iteration rate [per second]
========================================
100,000 | 500
500,000 | 200
1,000,000 | 50
5,000,000 | 20
第2步：合并
这将是一个简单的步骤，只需将所有写入的CSV文件合并到一个数据帧中，然后将其写入一个更大的CSV文件。
以下是示例代码：
# Step 1 (Splitting/Slicing)
import pandas as pd
df_all = pd.read_csv('C:/KtV.csv')
df_index = 100000
df_len = len(df)
for i in range(df_len // df_index + 1):
lower_bound = i * df_index
higher_bound = min(lower_bound + df_index, df_len)
# Splitting/slicing df (make sure to copy() otherwise it will be a view
df = df_all[lower_bound:higher_bound].copy()
'''
Write your iteration over the sliced df here
using iterrows() or intertuples() or ...
'''
# Writing into CSV files
df.to_csv('C:/KtV_prep_' + str(i) + '.csv')
# Step 2 (Merging)
filename = 'C:/KtV_prep_'
df = (pd.read_csv(f) for f in [filename + str(i) + '.csv' for i in range(ktv_len // ktv_index + 1)])
df_prep_all = pd.concat(df)
df_prep_all.to_csv('C:/KtV_prep_all.csv')
参考：
数据流迭代的有效方法
将CSV文件连接到一个Pandas数据帧中
您应该使用df.iterrows（）。虽然逐行迭代不是特别有效，因为必须创建Series对象。
iterrows（）返回元组（a，b），其中a是索引，b是行。
首先考虑是否真的需要迭代DataFrame中的行。请参阅此答案以了解备选方案。
如果仍然需要迭代行，可以使用以下方法。请注意其他答案中未提及的一些重要注意事项。
DataFrame.iterrows（）对于索引，df.iterrows（）中的行：打印（行[“c1”]，行[“c2”]）DataFrame.itertuples（）对于df.itertuples中的行（索引=True，名称=“标准”）：打印（第c1行，第c2行）
itertples（）应该比iterrows（）快
但请注意，根据文件（熊猫目前为0.24.2）：
iterrows:dtype可能在行与行之间不匹配
因为iterrows为每一行返回一个Series，所以它不会跨行保留数据类型（数据帧的数据类型跨列保留）。为了在遍历行时保留数据类型，最好使用itertples（），它返回值的namedtuples，通常比iterrows（）快得多
iterrows：不修改行
您不应该修改正在迭代的内容。这并不能保证在所有情况下都有效。根据数据类型的不同，迭代器返回的是副本而不是视图，写入它不会产生任何影响。
请改用DataFrame.apply（）：
new_df = df.apply(lambda x: x * 2, axis = 1)
迭代：
如果列名是无效的Python标识符、重复或以下划线开头，则将重命名为位置名。对于大量列（>255），将返回常规元组。
有关详细信息，请参阅panda迭代文档。
您还可以进行NumPy索引，以实现更高的速度。它不是真正的迭代，但对某些应用程序来说，它比迭代好得多。
subset = row['c1'][0:5]
all = row['c1'][:]
您可能还希望将其强制转换为数组。这些索引/选择本来应该像NumPy数组一样，但我遇到了一些问题，需要转换
np.asarray(all)
imgs[:] = cv2.resize(imgs[:], (224,224) ) # Resize every image in an hdf5 file
