的openmpi并行读取文本文件

我希望这个代码做的是以下几点：（！做工不错）的openmpi并行读取文本文件

读取一个文件到缓冲区（而不想改变我读文件，也不我如何存储它）。

跨越多个“节点”使用MPI_Scatter发送该缓冲区因此，每个节点都可以统计出存在空格的次数。

我所作出的代码如下：

#include <stdio.h> 
#include <mpi.h> 

int main() { 

int file_size = 10000; 
FILE * fp; 
int my_size, my_id, size, local_acum=0, acum=0, i; 
char buf[file_size], recv_vect[file_size]; 

fp = fopen("pru.txt","r"); 
fseek(fp, 0L, SEEK_END); 
size = ftell(fp); 
fseek(fp, 0L, SEEK_SET); 
fread (buf,1,size,fp); 

// Initialize the MPI environment 
MPI_Init(NULL, NULL); 
MPI_Comm_size(MPI_COMM_WORLD, &my_size); 
MPI_Comm_rank(MPI_COMM_WORLD,&my_id); 

MPI_Scatter(buf, size/my_size, MPI_CHAR, recv_vect, 
    size/my_size, MPI_CHAR, 0, MPI_COMM_WORLD); 

local_acum=0; 
for (i=0; i < size/my_size; i++){ 
    // printf("%c", buf[i]); 
    if (buf[i] == ' '){ 
     local_acum++; 
    } 
} 
printf("\nlocal is %d \n", local_acum); 

acum=0; 
MPI_Barrier(MPI_COMM_WORLD); 
MPI_Reduce(&local_acum, &acum, 1, MPI_INT, MPI_SUM, 
    0, MPI_COMM_WORLD); 

if (my_id == 0){ 
    printf("Counter is %d \n", acum); 
} 

// Finalize the MPI environment. 
MPI_Finalize(); 
}

我没有得到期望的结果。

如果我运行选项-np 1它完美（如预期）。

然而，当我运行选项-np 2或更高，我没有得到我的愿望结果。每个节点的行为是它总是计算相同数量的空格！我相信这是问题的关键。

如果节点为我做

for (i=0; i < sie; i++)

此计算空格的数目。所以每个节点都有整个缓冲区。我不明白为什么，因为在分散我告诉传递（尺寸/ my_size）

来源

2016-10-22 Alessandroempire

你迭代buf，其中包含了整个文件，而不是recv_vect，其中只包含每个等级的一部分。
您正在读取每个节点上的整个文件，而不仅仅是根目录。这对你的情况没有任何意义。

来源

2016-10-22 22:57:38 Zulan

的openmpi并行读取文本文件

回答

相关问题