在C++中，如何使用多个线程读取一个文件？

Question

我正在使用Windows 7中的VS2012（64位8核）从本地硬盘读取.csv文件。

我正在阅读的文件有50,000多行，每行有200多个属性，因此读取数据并将它们提供给相应的变量非常耗时。因此，我想知道是否可以用多线程加速它，每个线程读取文件的一部分。

我已经google了一下，发现有人说，由于硬盘不是多线程，使用多线程来做到这一点将会实际上慢下来。 这是真的吗？

如果可以读取多个线程的文件，任何人都可以给我一个我可以学习的例子吗？

此外，是否有可能将明确分配给CPU内核的线程或任务？

还有一个最后的问题：我用Python读了同一个文件，并且在几秒钟内就完成了。 我可以知道为什么Python的读取速度比C++快吗？

Answer 1

读取文件需要在任何语言或操作系统下创建一个系统调用，这意味着调用底层操作系统，并等待它将文件内容放入内存中（假设您通过操作系统安全检查和所有这些）。多线程文件读取确实会减慢你的速度，因为你会制造更多的系统调用，使你不能执行程序并将控制权交给操作系统。

因此，最好的建议是海德的 - 如果需要的话，也许将文件解析到多个线程。如果你能够在几秒钟内解析一个很大的文件，我会说它并不值得。例如，如果您正在运行图形应用程序，那么您肯定希望为文件加载保留一个单独的线程，以免冻结您的用户界面。

在速度问题上，我猜想有两个主要问题。首先，我怀疑python默认通过内存缓冲区读取它的文件，这将加速执行。如果你可以缓冲你的文件读取（这样你可以减少系统调用），你可能会看到一些性能上的提升。另一个问题是你在Python和C++中使用哪些数据结构来加载/解析数据。在不知道代码的情况下，我无法提出任何具体的建议，但花一点时间研究/思考适用于您的程序的不同数据结构可能会有所帮助。请记住，Python和C++的数据结构具有非常不同的性能配置文件，所以在Python中运行良好的一个可能是C++中更差的选择。

编辑：从http://www.cplusplus.com/reference/

// read a file into buffer - sgetn() example 
#include <iostream>  // std::cout, std::streambuf, std::streamsize 
#include <fstream>  // std::ifstream 

int main() { 
    char* contents; 
    std::ifstream istr ("test.txt"); 

    if (istr) { 
    std::streambuf * pbuf = istr.rdbuf(); 
    std::streamsize size = pbuf->pubseekoff(0,istr.end); 
    pbuf->pubseekoff(0,istr.beg);  // rewind 
    contents = new char [size]; 
    pbuf->sgetn (contents,size); 
    istr.close(); 
    std::cout.write (contents,size); 
    } 
    return 0; 
}