稀疏矩阵切片内存错误

Question

我有一个稀疏矩阵csr：

<681881x58216 sparse matrix of type '<class 'numpy.int64'>' 
    with 2867209 stored elements in Compressed Sparse Row format> 

，我想创建一个新的sparce矩阵的csr片： csr_2 = csr[1::2,:]。

问题：时，我有csr矩阵而已，我的服务器的内存忙于40 GB。当我运行csr_2 = csr[1::2,:]时，我的服务器RAM正在完全转储128GB，并且随着“内存错误”而下降。

Answer 1

sparse使用矩阵乘法来选择这样的行。我在另一个SO问题中计算了extractor矩阵的细节，但大致上要从（m，n）中得到一个（p，n）矩阵，它需要使用一个（p，m）矩阵（用非零值）。

矩阵乘法本身是一个2遍过程。第一遍决定了结果矩阵的大小。

与密集的numpy数组相比，稀疏矩阵切片永远不会返回视图。

Sparse matrix slicing using list of int

对提取矩阵的细节。我也建议测试csr.sum(axis=1)，因为它也使用矩阵乘法。

---

def extractor(indices, N): 
    indptr=np.arange(len(indices)+1) 
    data=np.ones(len(indices)) 
    shape=(len(indices),N) 
    return sparse.csr_matrix((data,indices,indptr), shape=shape) 

所以索引每隔一行要求：

In [99]: M = sparse.random(100,80,.1, 'csr') 
In [100]: M 
Out[100]: 
<100x80 sparse matrix of type '<class 'numpy.float64'>' 
    with 800 stored elements in Compressed Sparse Row format> 
In [101]: E = extractor(np.r_[1:100:2],100) 
In [102]: E 
Out[102]: 
<50x100 sparse matrix of type '<class 'numpy.float64'>' 
    with 50 stored elements in Compressed Sparse Row format> 
In [103]: M1 = E*M 
In [104]: M1 
Out[104]: 
<50x80 sparse matrix of type '<class 'numpy.float64'>' 
    with 407 stored elements in Compressed Sparse Row format>