为什么C++中从stdin读取行比Python慢得多？

我想比较使用Python和C++从stdin读取字符串输入的行数，看到我的C++代码运行速度比等效的Python代码慢了一个数量级，我很震惊。由于我的C++已经过时了，而且我还不是一个Pythonista专家，请告诉我我是不是做错了什么，或者我是不是误解了什么。

（TLDR答案：包含语句：cin.sync_with_stdio（false）或只使用fgets。

TLDR结果：一直向下滚动到问题的底部，然后查看表格。）

C++代码：

#include <iostream>
#include <time.h>

using namespace std;

int main() {
    string input_line;
    long line_count = 0;
    time_t start = time(NULL);
    int sec;
    int lps;

    while (cin) {
        getline(cin, input_line);
        if (!cin.eof())
            line_count++;
    };

    sec = (int) time(NULL) - start;
    cerr << "Read " << line_count << " lines in " << sec << " seconds.";
    if (sec > 0) {
        lps = line_count / sec;
        cerr << " LPS: " << lps << endl;
    } else
        cerr << endl;
    return 0;
}

// Compiled with:
// g++ -O3 -o readline_test_cpp foo.cpp

Python等效：

#!/usr/bin/env python
import time
import sys

count = 0
start = time.time()

for line in  sys.stdin:
    count += 1

delta_sec = int(time.time() - start_time)
if delta_sec >= 0:
    lines_per_sec = int(round(count/delta_sec))
    print("Read {0} lines in {1} seconds. LPS: {2}".format(count, delta_sec,
       lines_per_sec))

以下是我的结果：

$ cat test_lines | ./readline_test_cpp
Read 5570000 lines in 9 seconds. LPS: 618889

$ cat test_lines | ./readline_test.py
Read 5570000 lines in 1 seconds. LPS: 5570000

我应该注意到，我在Mac OS X v10.6.8（雪豹）和Linux 2.6.32（Red Hat Linux 6.2）下都尝试了这一点。前者是MacBook Pro，后者是一个非常强大的服务器，但这并不太重要。

$ for i in {1..5}; do echo "Test run $i at `date`"; echo -n "CPP:"; cat test_lines | ./readline_test_cpp ; echo -n "Python:"; cat test_lines | ./readline_test.py ; done

Test run 1 at Mon Feb 20 21:29:28 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 2 at Mon Feb 20 21:29:39 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 3 at Mon Feb 20 21:29:50 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 4 at Mon Feb 20 21:30:01 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 5 at Mon Feb 20 21:30:11 EST 2012
CPP:   Read 5570001 lines in 10 seconds. LPS: 557000
Python:Read 5570000 lines in  1 seconds. LPS: 5570000

微小的基准附录和概述

为了完整起见，我想用原始（同步）C++代码更新同一个盒子上同一文件的读取速度。同样，这是针对快速磁盘上的100M行文件。以下是几种解决方案/方法的比较：

Implementation	Lines per second
python (default)	3,571,428
cin (default/naive)	819,672
cin (no sync)	12,500,000
fgets	14,285,714
wc (not fair comparison)	54,644,808

当前回答

如果您不关心文件加载时间，或者您正在加载小文本文件，那么getline、streamoperators、scanf会很方便。但是，如果性能是您关心的问题，那么您应该将整个文件缓冲到内存中（假设它适合）。

下面是一个示例：

//open file in binary mode
std::fstream file( filename, std::ios::in|::std::ios::binary );
if( !file ) return NULL;

//read the size...
file.seekg(0, std::ios::end);
size_t length = (size_t)file.tellg();
file.seekg(0, std::ios::beg);

//read into memory buffer, then close it.
char *filebuf = new char[length+1];
file.read(filebuf, length);
filebuf[length] = '\0'; //make it null-terminated
file.close();

如果需要，可以围绕缓冲区包装一个流，以便更方便地访问，如下所示：

std::istrstream header(&filebuf[0], length);

此外，如果您控制文件，请考虑使用平面二进制数据格式而不是文本。读写更可靠，因为您不必处理空白的所有歧义。它也更小，解析速度更快。

2012-03-13 23:04:20

其他回答

我在Mac上使用g++在电脑上再现了原始结果。

在while循环之前向C++版本添加以下语句，使其与Python版本内联：

std::ios_base::sync_with_stdio(false);
char buffer[1048576];
std::cin.rdbuf()->pubsetbuf(buffer, sizeof(buffer));

sync_with_studio将速度提高到2秒，设置更大的缓冲区将速度降低到1秒。

2012-02-21 03:33:36

以下代码对我来说比目前发布在这里的其他代码更快：（Visual Studio 2013，64位，500 MB文件，行长统一为[0，1000））。

const int buffer_size = 500 * 1024;  // Too large/small buffer is not good.
std::vector<char> buffer(buffer_size);
int size;
while ((size = fread(buffer.data(), sizeof(char), buffer_size, stdin)) > 0) {
    line_count += count_if(buffer.begin(), buffer.begin() + size, [](char ch) { return ch == '\n'; });
}

它比我所有的Python尝试都快了一倍多。

2014-04-23 14:56:24

在第二个示例中（使用scanf（）），速度仍然较慢的原因可能是因为scanf（“%s”）解析字符串并查找任何空格字符（空格、制表符、换行符）。

此外，是的，CPython会进行一些缓存以避免硬盘读取。

2012-02-21 03:32:17

顺便说一句，C++版本的行计数比Python版本的行数大一倍的原因是，只有当尝试读取超过eof时，才会设置eof标志。因此，正确的循环应该是：

while (cin) {
    getline(cin, input_line);

    if (!cin.eof())
        line_count++;
};

2012-03-11 16:37:21

答案的第一个元素：＜iostream＞是慢的。他妈的慢。我使用scanf获得了巨大的性能提升，如下所示，但它仍然比Python慢两倍。

#include <iostream>
#include <time.h>
#include <cstdio>

using namespace std;

int main() {
    char buffer[10000];
    long line_count = 0;
    time_t start = time(NULL);
    int sec;
    int lps;

    int read = 1;
    while(read > 0) {
        read = scanf("%s", buffer);
        line_count++;
    };
    sec = (int) time(NULL) - start;
    line_count--;
    cerr << "Saw " << line_count << " lines in " << sec << " seconds." ;
    if (sec > 0) {
        lps = line_count / sec;
        cerr << "  Crunch speed: " << lps << endl;
    } 
    else
        cerr << endl;
    return 0;
}

2012-02-21 03:17:34

为什么C++中从stdin读取行比Python慢得多？

推荐文章

最新文章

标签