numpy array快速切片多次

Question

我有类似np.arange（[100000]）的东西，我需要多次检索两个索引之间的数据。目前我运行这个很慢

data = np.arange([100000]) 
# This array usually contains thousands of slices 
slices = np.array([ 
     [1, 4], 
     [10,20], 
     [100,110], 
     [1000,1220] 
]) 

# One way i have been doing it 
np.take(data, [i for iin, iout in slices for idx in range(iin, iout)]) 
# The other way 
[data[iin:iout] for iin, iout in slices] 

两种方式都很慢。我需要这个速度非常快。我在寻找这样的东西。

data[slices[:,0], slices[:,1]] 

Answer 1

与slices和一些时序data = np.arange(2000)

你take，纠正：

In [360]: timeit np.take(data, [idx for iin, iout in slices for idx in range(iin,iout)]) 
10000 loops, best of 3: 92.5 us per loop 

In [359]: timeit data[[idx for iin, iout in slices for idx in range(iin,iout)]] 
10000 loops, best of 3: 92.2 us per loop 

你的第二版（修正） - 相当好一点

In [361]: timeit np.concatenate([data[iin:iout] for iin,iout in slices]) 
100000 loops, best of 3: 15.8 us per loop 

使用np.r_连接切片 - 不是比你的第一次有很大的改进。

In [362]: timeit data[np.r_[tuple([slice(i[0],i[1]) for i in slices])]] 
10000 loops, best of 3: 79 us per loop 
In [363]: timeit np.r_[tuple([slice(i[0],i[1]) for i in slices])] 
10000 loops, best of 3: 67.5 us per loop 

构建索引占用大部分时间。

当然，这个规模的排名可能会随着问题的扩大而改变。

由于您的切片长度不同，因此没有太多希望以矢量化方式生成它们，即“并行”。我不知道cython的实现是否会加快它的速度。

来自较早类似问题的更多计时 https://stackoverflow.com/a/11062055/901925