OpenMP到分布式内存代码

Question

我有一个关于并行计算的问题。我有一个用C++编写的非常大的代码，它在共享内存的基础上使用OpenMP进行并行化。我想问是否有可能将这个共享内存代码转换为分布式内存代码？

如果可能，需要执行什么步骤？ 谢谢你的合作。

谢谢， 可并行化对共享内存的计算机上运行拉胡尔·辛格

Answer 1

大多数程序也可以被并行化到分布式存储计算机上运行。所以是的，OpenMP程序解决的问题可能在分布式内存计算机上解决。但是，将OpenMP程序转换为分布式内存程序是另一回事。建议您最好先从串行实现开始，并且将其并行化，而不是尝试将一种并行思维模式适用于另一种并行执行模式。

因此，您寻求的第一步可能是使程序不平行。但是，正如评论员已经指出的那样，提供比我现有的更有用的建议（并且我根本没有提供任何非常有用的建议）是非常困难的，而不了解更多关于您的应用程序的信息。

Answer 2

共享内存和分布式内存是并行计算中的两种截然不同的范例，这通常意味着不同的思考策略。一些并行编程框架，如UPC或MPI，可以模拟运行在共享或分布式机器上，尽管它最好不要这样做，在这里，UPC意味着用于共享内存，而MPI则意味着用于分布式内存机器。我不确定OpenMP。

在任何一种情况下，我的建议都是先思考如何在分布式架构中的代码中获得并行性，然后再使用MPI。如果您碰巧在计算科学领域工作，那么已经有很好的书面软件包，比如来自阿贡国家实验室的PETSc和来自桑迪亚国家实验室的Trilinos，这可能会帮助您更快地开发。