如何使用cudaMalloc/cudaMemcpy指向包含指针的结构的指针？

Question

我看过这个网站和其他人，并没有任何工作。我正在为我的具体情况发布一个问题。

我有一堆矩阵，目标是使用内核让GPU对它们进行相同的操作。我很确定我可以让内核工作，但我无法使cudaMalloc/cudaMemcpy正常工作。

我有一个指向Matrix结构的指针，该结构有一个名为元素的成员，指向某些浮点数。我可以做所有的非cuda malloc就好了。

感谢您的任何/所有帮助。

代码：

typedef struct { 
    int width; 
    int height; 
    float* elements; 
} Matrix; 

int main void() { 
    int rows, cols, numMat = 2; // These are actually determined at run-time 
    Matrix* data = (Matrix*)malloc(numMat * sizeof(Matrix)); 

    // ... Successfully read from file into "data" ... 

    Matrix* d_data; 
    cudaMalloc(&d_data, numMat*sizeof(Matrix)); 
    for (int i=0; i<numMat; i++){ 
     // The next line doesn't work 
     cudaMalloc(&(d_data[i].elements), rows*cols*sizeof(float)); 

     // Don't know if this works 
     cudaMemcpy(d_data[i].elements, data[i].elements, rows*cols*sizeof(float)), cudaMemcpyHostToDevice); 
    } 

    // ... Do other things ... 
} 

谢谢！

Answer 1

你必须知道你的内存驻留在哪里。 malloc分配主机内存，cudaMalloc在设备上分配内存并返回指向该内存的指针。但是，该指针仅在设备功能中有效。

你想要可以achived为遵循什么：

typedef struct { 
    int width; 
    int height; 
    float* elements; 
} Matrix; 

int main void() { 
    int rows, cols, numMat = 2; // These are actually determined at run-time 
    Matrix* data = (Matrix*)malloc(numMat * sizeof(Matrix)); 

    // ... Successfully read from file into "data" ... 
    Matrix* h_data = (Matrix*)malloc(numMat * sizeof(Matrix)); 
    memcpy(h_data, data, numMat * sizeof(Matrix); 

    for (int i=0; i<numMat; i++){ 

     cudaMalloc(&(h_data[i].elements), rows*cols*sizeof(float)); 
     cudaMemcpy(h_data[i].elements, data[i].elements, rows*cols*sizeof(float)), cudaMemcpyHostToDevice); 

    }// matrix data is now on the gpu, now copy the "meta" data to gpu 
    Matrix* d_data; 
    cudaMalloc(&d_data, numMat*sizeof(Matrix)); 
    cudaMemcpy(d_data, h_data, numMat*sizeof(Matrix)); 
    // ... Do other things ... 
} 

为了把事情说清楚： Matrix* data包含主机上的数据。 Matrix* h_data包含一个指向设备内存的指针，它可以作为参数传递给内核。内存在GPU上。 Matrix* d_data在GPU上是完整的，可以像主机上的数据一样使用。

在内核代码，你卡恩

现在访问矩阵值，例如，

__global__ void doThings(Matrix* matrices) 
{ 
     matrices[i].elements[0] = 42; 
}