我有一个信息检索和存储课程项目,对于第一部分我必须找到从硬盘读取大文件的最佳缓冲区大小。我们的t.a说随着缓冲区大小增加到某个点(通常是4个字节),读取速度会增加,但在此之后它会下降。但是在下面的代码中,无论缓冲区大小还是文件大小(我已经在100 MB测试过),它都会增加。从我所知道的缓冲仅在并行异步进程(如线程)中才有意义,并且对文件进行碎片整理和/或查找文件目录和地址的代价(对于磁盘)是否足够重要,那么与我的代码相关的问题或者ifstream处理事物的方式或者这些条件不在此处?为什么缓冲速度随着缓冲区大小的增加而增加?
ifstream in("D:ISR\\Articles.dat", std::ifstream::binary);
if(in)
{
in.seekg(0, in.end);
int length = in.tellg();
length = 100 * 1024 * 1024;
int bufferSize = 2;
int blockSize = 1024;//1kB
int numberOfBlocks = length/blockSize;
if(length % blockSize > 0) numberOfBlocks++;
clock_t t;
double time;
for(int i = 0; i < 5; i++)
{
in.seekg(0, in.beg);
int position = 0;
int bufferPosition;
char* streamBuffer = new char[bufferSize];
in.rdbuf()->pubsetbuf(streamBuffer, bufferSize);
t = clock();
for(int i = 0; i < numberOfBlocks; i++)
{
char* buffer = new char[blockSize];
bufferPosition = 0;
while(bufferPosition < blockSize && position < length)
{
in.read(buffer + bufferPosition, bufferSize);
position += bufferSize;
bufferPosition += bufferSize;
}
delete[] buffer;
}
t = clock() - t;
time = double(t)/CLOCKS_PER_SEC;
cout << "Buffer size : " << bufferSize << " -> Total time in seconds : " << time << "\n";
bufferSize *= 2;
}
操作系统可能会将您在循环中读取的文件缓存到内存中,因此大多数电源都会进入I/O库函数。随着更大的缓冲区,你有更少的通话,因此性能提升。 – 2013-03-10 17:18:27