除了这篇文章中的好答案，我将提出“分而治之”的方法，我写这个答案并不是为了废除其他好答案，而是为了用另一种对我有效的方法来实现它们。它有两个步骤，即拆分和合并熊猫数据帧：

分裂与征服的证明：

您不需要使用矢量化或任何其他方法将数据帧的类型转换为另一种类型您不需要将代码循环化，这通常需要额外的时间在我的例子中，iterrows（）和itertples（）在整个数据帧上都具有相同的性能根据您对切片索引的选择，您将能够以指数方式加快迭代。索引越高，迭代过程越快。

分裂与征服的缺点：

您不应该依赖于同一数据帧和不同切片的迭代过程。这意味着，如果你想从其他切片读取或写入，那么可能很难做到这一点。

===============分而治之=================

步骤1：分割/切片

在这一步中，我们将在整个数据帧上划分迭代。假设你要将一个CSV文件读入panda df，然后对其进行迭代。在这种情况下，我有5000000条记录，我要将其拆分为100000条记录。

注意：我需要重申，正如本页其他解决方案中解释的其他运行时分析一样，在df上搜索时，“记录数”与“运行时”成指数比例。基于我的数据基准，以下是结果：

Number of records | Iteration rate [per second]
========================================
100,000           | 500
500,000           | 200
1,000,000         | 50
5,000,000         | 20

第2步：合并

这将是一个简单的步骤，只需将所有写入的CSV文件合并到一个数据帧中，然后将其写入一个更大的CSV文件。

以下是示例代码：

# Step 1 (Splitting/Slicing)
import pandas as pd
df_all = pd.read_csv('C:/KtV.csv')
df_index = 100000
df_len = len(df)
for i in range(df_len // df_index + 1):
    lower_bound = i * df_index
    higher_bound = min(lower_bound + df_index, df_len)
    # Splitting/slicing df (make sure to copy() otherwise it will be a view
    df = df_all[lower_bound:higher_bound].copy()
    '''
    Write your iteration over the sliced df here
    using iterrows() or intertuples() or ...
    '''
    # Writing into CSV files
    df.to_csv('C:/KtV_prep_' + str(i) + '.csv')



# Step 2 (Merging)
filename = 'C:/KtV_prep_'
df = (pd.read_csv(f) for f in [filename + str(i) + '.csv' for i in range(ktv_len // ktv_index + 1)])
df_prep_all = pd.concat(df)
df_prep_all.to_csv('C:/KtV_prep_all.csv')

参考：

数据流迭代的有效方法

将CSV文件连接到一个Pandas数据帧中

如何高效迭代

如果您真的需要迭代Pandas数据帧，您可能希望避免使用iterrows（）。有不同的方法，通常的iterrows（）远远不是最好的。itertples（）可以快100倍。

简而言之：

作为一般规则，使用df.itertuples（name=None）。特别是当列数固定且少于255列时。见第（3）点否则，请使用df.itertuples（），除非您的列包含空格或“-”等特殊字符。见第（2）点使用上一个示例，即使数据帧中有奇怪的列，也可以使用itertples（）。见第（4）点如果无法使用前面的解决方案，请仅使用iterrows（）。见第（1）点

对Pandas数据帧中的行进行迭代的不同方法：

生成具有百万行和4列的随机数据帧：

    df = pd.DataFrame(np.random.randint(0, 100, size=(1000000, 4)), columns=list('ABCD'))
    print(df)

1） 通常的iterrows（）很方便，但速度很慢：

start_time = time.clock()
result = 0
for _, row in df.iterrows():
    result += max(row['B'], row['C'])

total_elapsed_time = round(time.clock() - start_time, 2)
print("1. Iterrows done in {} seconds, result = {}".format(total_elapsed_time, result))

2） 默认的itertples（）已经快得多，但它不适用于列名称，例如My Col Name is very Strange（我的列名称非常奇怪）（如果列重复或列名称不能简单地转换为Python变量名称，则应避免使用此方法）

start_time = time.clock()
result = 0
for row in df.itertuples(index=False):
    result += max(row.B, row.C)

total_elapsed_time = round(time.clock() - start_time, 2)
print("2. Named Itertuples done in {} seconds, result = {}".format(total_elapsed_time, result))

3） 使用name=None的默认itertples（）甚至更快，但并不方便，因为您必须为每列定义一个变量。

start_time = time.clock()
result = 0
for(_, col1, col2, col3, col4) in df.itertuples(name=None):
    result += max(col2, col3)

total_elapsed_time = round(time.clock() - start_time, 2)
print("3. Itertuples done in {} seconds, result = {}".format(total_elapsed_time, result))

4） 最后，命名的itertples（）比上一点慢，但您不必为每列定义变量，它可以处理列名称，例如My Col Name is very Strange。

start_time = time.clock()
result = 0
for row in df.itertuples(index=False):
    result += max(row[df.columns.get_loc('B')], row[df.columns.get_loc('C')])

total_elapsed_time = round(time.clock() - start_time, 2)
print("4. Polyvalent Itertuples working even with special characters in the column name done in {} seconds, result = {}".format(total_elapsed_time, result))

输出：

         A   B   C   D
0       41  63  42  23
1       54   9  24  65
2       15  34  10   9
3       39  94  82  97
4        4  88  79  54
...     ..  ..  ..  ..
999995  48  27   4  25
999996  16  51  34  28
999997   1  39  61  14
999998  66  51  27  70
999999  51  53  47  99

[1000000 rows x 4 columns]

1. Iterrows done in 104.96 seconds, result = 66151519
2. Named Itertuples done in 1.26 seconds, result = 66151519
3. Itertuples done in 0.94 seconds, result = 66151519
4. Polyvalent Itertuples working even with special characters in the column name done in 2.94 seconds, result = 66151519

本文是iterrows和itertules之间的一个非常有趣的比较

首先考虑是否真的需要迭代DataFrame中的行。请参阅此答案以了解备选方案。

如果仍然需要迭代行，可以使用以下方法。请注意其他答案中未提及的一些重要注意事项。

DataFrame.iterrows（）对于索引，df.iterrows（）中的行：打印（行[“c1”]，行[“c2”]）DataFrame.itertuples（）对于df.itertuples中的行（索引=True，名称=“标准”）：打印（第c1行，第c2行）

itertples（）应该比iterrows（）快

但请注意，根据文件（熊猫目前为0.24.2）：

iterrows:dtype可能在行与行之间不匹配

因为iterrows为每一行返回一个Series，所以它不会跨行保留数据类型（数据帧的数据类型跨列保留）。为了在遍历行时保留数据类型，最好使用itertples（），它返回值的namedtuples，通常比iterrows（）快得多

iterrows：不修改行

您不应该修改正在迭代的内容。这并不能保证在所有情况下都有效。根据数据类型的不同，迭代器返回的是副本而不是视图，写入它不会产生任何影响。

请改用DataFrame.apply（）：

    new_df = df.apply(lambda x: x * 2, axis = 1)

迭代：

如果列名是无效的Python标识符、重复或以下划线开头，则将重命名为位置名。对于大量列（>255），将返回常规元组。

有关详细信息，请参阅panda迭代文档。

DataFrame.iterrows是一个生成索引和行（作为一个系列）的生成器：

import pandas as pd

df = pd.DataFrame({'c1': [10, 11, 12], 'c2': [100, 110, 120]})
df = df.reset_index()  # make sure indexes pair with number of rows

for index, row in df.iterrows():
    print(row['c1'], row['c2'])

10 100
11 110
12 120

简言之

如果可能，使用矢量化如果操作无法矢量化，请使用列表综合如果需要一个表示整个行的对象，请使用itert元组如果以上步骤太慢，请尝试快速应用如果速度仍然太慢，试试赛马拉松的套路

基准

可能是最优雅的解决方案（但肯定不是最有效的）：

for row in df.values:
    c2 = row[1]
    print(row)
    # ...

for c1, c2 in df.values:
    # ...

注意：

文档明确建议改用.to_numpy（）在最坏的情况下，生成的NumPy数组将具有适合所有列的dtype对象首先有充分的理由不使用循环

尽管如此，我认为这个选项应该包含在这里，作为一个（人们应该认为）微不足道的问题的直接解决方案。