有没有比较Stinger vs Impala和Drill的任何性能基准(真正的基准)?此外,哪些是首选 - 我的使用案例将主要针对Hive之上的特殊交互式查询。谢谢。Apache Drill的性能
回答
有网站http://allegro.tech/fast-data-hackathon.html一些业绩数字。
一般情况下,我们看到了钻和黑斑羚是可比在用钻机是它没有元数据定义和它的易用性与JSON数据时查询能力分化的交互查询性能。
注意,这些测试是对钻如0.8/0.9多旧版本(也未用于数据局部性适当配置)。现在Drill是1.1,在SQL(窗口函数等)和性能上有很多改进。
你不能这样做基准这样的,这是没有意义的,你永远不应该相信这样一个基准。
一切都取决于你自己的数据,你有JSON文件?比较喜欢Drill。你想查询超过1TB,比较喜欢Hive等。
此外,您可以考虑文件格式,JSON,Kudu,Parquet或ORC。
然后来优化,蜂巢+ TEZ似乎是parrarel查询单查询好,但速度很慢。鉴于Impala是相反的(MapReduce与MassiveParrarelProcessing)。
此外,要考虑硬件的ressource,硬盘SSD与否等。
我建议,与Apache钻+ JSON文件开始,然后尝试阿帕奇钻镶木地板或ORC。
如果您需要帮助,准确地描述你所拥有的(数据+硬件),你想要什么。
您好托马斯,我试图在512 GB RAM和48个CPU的单个节点上运行大型钻取查询。查询花费太长时间才能运行大约30 GB的数据。完成所有记录汇总需要1个多小时。你有任何我需要检查的调整参数吗? –
1节点?你必须了解什么是Drill,比如PrestoDB,Impala ......这是一个MPP大规模并行处理引擎,所以最好有几个节点^^ –
由于我们有48个CPU,我们可以在它们之间进行并行处理吗? –
- 1. Apache Ignite与Apache Drill for SQL的性能
- 2. Apache Metamodel与Apache Drill
- 3. 使用Apache Drill
- 4. 如何提高Apache Drill的写入性能
- 5. Apache Drill - DrillStartupException与CustomAuthenticaor
- 6. Apache Drill Web界面
- 7. Apache Drill的Java或C++ API
- 8. Apache Drill:没有找到DrillbitEndpoint
- 9. Apache Drill:按星期分组
- 10. 使用LDAP进行Apache Drill
- 11. VBA/Excel - 查询Apache Drill
- 12. Apache Drill 1.2和Oracle JDBC
- 13. 通过Apache Drill访问crateDB
- 14. Apache Drill通过代码
- 15. 使用Apache Drill查询kafka
- 16. 分布式模式下的Apache Drill
- 17. 使用Google云端存储的Apache Drill
- 18. 通过JDBC连接Apache Drill与OpenOffice/LibreOffice
- 19. 如何使用Apache Drill与Cassandra
- 20. Apache Drill |从REST API获取表列表
- 21. 使用Apache Drill查询Extensionless文件
- 22. Apache Drill数据库和数据位置
- 23. 在Windows中运行Apache Drill Cluster?
- 24. Apache Drill JDBC Java客户端异常
- 25. “\ apache-drill-1.6.0 \ conf此时是意外的”。 Apache安装错误
- 26. Apache PHP性能
- 27. Apache Spark性能
- 28. 我应该使用Apache Drill还是Apache Solr?
- 29. 是Apache Curator性能?
- 30. 测量Apache性能
感谢您的回复,您对Stinger.next有什么看法?它与Drill相比如何?任何基准来确定哪个更快? – Sai
另外,Dr可以在处理TB数据集时执行吗?我读到Impala和Presto不适用于庞大数据集上的复杂查询。 – Sai