我正在处理一个需要构建直方图的大型数据集。我觉得我的方法就是遍历整个列表,并在第二个数组中标记频率是一种缓慢的方法。关于如何加快这个过程的任何建议?构建直方图更快
Q
构建直方图更快
0
A
回答
2
鉴于直方图是包含每个垃圾箱中所有物品计数的图形,因此如果不访问所有物品,就无法创建一个物品。
但是,您可以:
创建直方图收集的数据。然后,它不需要时间来生成。
将数据分解为N个部分,并在每个部分并行工作。当每部分完成计数时,只需对每个部分的结果进行求和即可。 (您也可以将它与#1结合)
对数据进行采样。从理论上看,只需查看一小部分数据,就可以估算剩余的数据。 The Math。
+0
解决方案2听起来像是我最好的选择。谢谢。 –
+0
另外,亚马逊是你的朋友。您可以通过点击来获取Hadoop(EMR)或数据仓库(RedShift)。 https://aws.amazon.com/big-data/ – BraveNewCurrency
相关问题
- 1. 构建直方图
- 2. 构建HTML表单的更快方法
- 3. 从MongoDB的构建直方图Pymongo
- 4. 用highcharts.js构建自定义直方图
- 5. 在Haskell中进行直方图计算的速度更快
- 6. 从3个不同的直方图创建图像直方图
- 7. 如何创建直方图
- 8. Python - 创建直方图
- 9. 创建直方图OCaml
- 10. 如何建立直方图?
- 11. 创建方法还是更新更快?
- 12. 如何构建Queue的更快实现?
- 13. IBM Worklight Mobile可以更快地构建
- 14. 在python中构建文本文件的更快方法
- 15. 更改当前构建系统快捷方式
- 16. 如何创建直方图的直方图?
- 17. 快捷方式排队新构建?
- 18. 更快的图结构生成
- 19. 使用Ruby从散列构建直方图
- 20. 构建垂直交叉过滤图表
- 21. 试图用ZedGraph创建直方图
- 22. 的Python/Pyside:创建图像直方图
- 23. EmguCV:创建图像直方图 - 错误
- 24. C++试图创建直方图
- 25. 直方图的循环结构
- 26. 包中的直方图构造算法
- 27. 垂直直方图
- 28. 任何方式与matplotlib.pyplot创建直方图,而不绘制直方图?
- 29. 创建大型BufferedImages的更快方法
- 30. 更换和创建Windows快捷方式
您所描述的内容听起来像O(N)。鉴于您需要所有值的计数,我没有看到如何改进(至少在计算复杂性方面)。 –
是的,多数民众赞成在我的想法,因为你需要阅读每个项目至少一次。这很不幸,因为我的数据在1亿的范围内+ –
改善的明显可能性是平行执行 - 直方图的计数项目落入“令人尴尬的平行”类别。 –