在CUDA中增加每线程寄存器使用量

Question

通常建议降低每线程寄存器压力以增加变形占用率，从而通过变形级别多线程（TLP）为隐藏延迟提供更大的机会。为了降低寄存器压力，每个线程会使用更多的本地内存或每个线程块共享内存。 CUDA nvcc编译器也可以被迫使用每个线程更少的寄存器。这种方法对于具有较好算术延迟的工作负载很有用，即ALU操作与内存访问请求的比率很高。然而，对于计算量非常少且内存访问频率更高的延迟关键应用程序而言，此方法实际上会降低性能。

在这种等待时间的关键应用中，在片上寄存器或共享内存中引入尽可能多的数据，然后尽可能多地使用它，然后再用下一块数据全球记忆。当然，通过增加寄存器压力，跳变占用率下降，但现在我们使用快速片上寄存器隐藏片外存储器延迟。提高每线程寄存器使用率的方法是通过展开循环或计算每个线程的更多输出数据来增加ILP（这也通过在更多输入上完成相同的工作来增加ILP）。沃尔科夫基本上提出了这种方法（在较低占用率下更好的性能）。

现在，nvcc编译器驱动程序有一个名为maxrregcount的命令行选项，它允许更改每个线程的寄存器使用情况。使用这个选项一次可以强制编译器减少每线程寄存器的使用，但不能强制增加它。我有一种情况，我想增加每个线程的寄存器使用率，但是我不能在我的内核中展开循环，因为循环边界是依赖于数据的和动态的。到目前为止，我已经尝试了一些技巧，但是我已经想出了如何增加每个线程注册使用率的想法。任何人都可以提出增加单个CUDA线程的注册使用的方法吗？

Answer 1

在某种程度上，这个问题重复Forcing CUDA to use register for a variable。你总结了很好的选择。如果你不能通过展开和显式标量变量使用强制注册使用，那么我认为你可能会被卡住。

请注意，即使具有动态范围的循环可以部分手动展开。你只需要检查循环展开部分的边界。这可能有助于提高注册使用率。

我也认为在增加寄存器使用率和减少延迟之间没有保证的直接关系，所以你真的应该把重点放在减少延迟上，而不是注册使用上。

如果你想减少整体内核延迟，那么你应该尝试一些东西。

• 发射没有多个线程块比可以在GPU上同时运行（如通过占用量计算来确定）。
• 最大限度地减少内核函数参数的数量，因为这些参数需要在内核启动时初始化（因此有许多参数可能会增加启动开销）。

Answer 2

这个问题是诬陷的方式是像问，“我怎么能付更多的钱牛奶在商店？”问题是颠倒。你应该问的是，“我有一定数量的钱，我怎么用它来获得尽可能多的牛奶？”

好的，不是最好的类比，但基本上，问题是说，增加寄存器数量本身就是目标，当然，目标是提高性能。

因此，首先要确定的是，你有没有像你认为的那样多的寄存器？如果寄存器是内核中的占用限制因素。当内核绑定内存时，更改代码以便使用更多寄存器可能不是一个好主意。

如果您确定占用率受其他因素限制，那么您可以询问是否可以通过使用更多寄存器来提高性能（在寄存器成为占用率限制因子之前，寄存器是“空闲”的）。

为此，您开始寻找Space–time tradeoffs的选项。

Answer 3

有趣的问题！我正在尝试使用ILP来提供更好的性能！实际上，由于我受到GPU旧架构的约束，每个线程分配的寄存器较少，使用ILP实际上可以提高性能，因为它通过循环展开（独立指令）释放寄存器以实现更多计算工作！

我想知道你有多少个嵌套循环？如果内部循环无法展开，可能会升级并寻找机会？

要增加每个线程的寄存器使用率，是否减少了启动的块数（使用较少的线程）？
为了增加寄存器/线程的使用，加载多于一组数据并行执行。

它在循环的每次迭代中是独立的吗？我相信关键是寻找独立的计算。 如何分批表演。假设循环次数为N，将其分解为N/M并独立地对它们进行初始化？

当你给出一些线索时很难给出建议：P