我正在开发一个程序，可以处理100GB或更大的文件。文件包含可变长度的记录集。我已经有了第一个实现并运行，现在正在寻求提高性能，特别是在更有效地做I/O，因为输入文件被扫描了很多次。
是否有使用mmap()与通过c++的fstream库读取块的经验法则?我想做的是将大块从磁盘读入缓冲区，处理缓冲区中的完整记录，然后读取更多数据。
mmap()代码可能会变得非常混乱，因为mmap的块需要位于页面大小的边界上(我的理解)，而记录可能位于页面边界上。使用fstreams，我可以只寻找记录的开始并重新开始读取，因为我们不局限于读取位于页面大小边界上的块。
如果不首先编写完整的实现，我如何在这两个选项之间做出决定呢?有什么经验法则(例如，mmap()快2倍)或简单的测试吗?
当前回答
mmap应该更快，但我不知道有多快。这在很大程度上取决于你的代码。如果您使用mmap，最好一次映射整个文件，这会使您的工作更容易。一个潜在的问题是，如果您的文件大于4GB(或者实际上限制更低，通常是2GB)，您将需要一个64位架构。所以如果你在使用32的环境，你可能不想使用它。
话虽如此，但或许有更好的方法来提高业绩。你说过输入文件会被扫描很多次，如果你可以一次读取它，然后处理它，这可能会更快。
其他回答
我同意mmap文件I/O将会更快，但是当您对代码进行基准测试时，不应该对反例进行一些优化吗?
本·柯林斯写道:
char data[0x1000];
std::ifstream in("file.bin");
while (in)
{
in.read(data, 0x1000);
// do something with data
}
我建议你也试试:
char data[0x1000];
std::ifstream iifle( "file.bin");
std::istream in( ifile.rdbuf() );
while( in )
{
in.read( data, 0x1000);
// do something with data
}
除此之外，您还可以尝试使缓冲区大小与一页虚拟内存大小相同，以防0x1000不是您机器上一页虚拟内存的大小……IMHO mmap文件I/O仍然是赢家，但这应该使事情更接近。
也许您应该对文件进行预处理，这样每个记录都在一个单独的文件中(或者至少每个文件都是mmap可用的大小)。
另外，您能否在处理下一条记录之前完成每条记录的所有处理步骤?也许这样可以避免一些IO开销?
我很抱歉本·柯林斯丢失了他的滑动窗口mmap源代码。这在Boost中是很好的。
是的，映射文件要快得多。您实际上是在使用OS虚拟内存子系统来关联内存和磁盘，反之亦然。可以这样想:如果OS内核开发者可以让它更快，他们会的。因为这样做几乎使所有事情都更快:数据库、启动时间、程序加载时间等等。
滑动窗口方法实际上并不难，因为可以一次映射多个连续的页面。因此，记录的大小并不重要，只要最大的记录可以放入内存。重要的是做好簿记工作。
如果一个记录不是从getpagesize()边界开始，那么映射就必须从前一页开始。映射区域的长度从记录的第一个字节(如有必要向下舍入到getpagesize()的最近倍数)扩展到记录的最后一个字节(四舍五入到getpagesize()的最近倍数)。当您完成一条记录的处理后，您可以unmap()它，然后继续到下一条记录。
这在Windows下工作也很好，使用CreateFileMapping()和MapViewOfFile()(和GetSystemInfo()来获取SYSTEM_INFO。dwAllocationGranularity——不是SYSTEM_INFO.dwPageSize)。
在我看来，使用mmap()“只是”使开发人员不必编写自己的缓存代码。在一个简单的“每读一次文件”的情况下，这并不难(尽管mlbrock指出，您仍然将内存副本保存到进程空间中)，但如果您在文件中来回执行或跳过位等等，我相信内核开发人员在实现缓存方面可能比我做得更好……
I remember mapping a huge file containing a tree structure into memory years ago. I was amazed by the speed compared to normal de-serialization which involves lot of work in memory, like allocating tree nodes and setting pointers. So in fact I was comparing a single call to mmap (or its counterpart on Windows) against many (MANY) calls to operator new and constructor calls. For such kind of task, mmap is unbeatable compared to de-serialization. Of course one should look into boosts relocatable pointer for this.
