构建用于Hadoop框架上的报告和分析的应用程序

Question

我有一个SAS应用程序，用于从Oracle提取数据并使用Base SAS和SAS宏生成报告。现在问题是我的数据库日益庞大，从Oracle获取数据需要更多时间，因此我的工作运行缓慢。

所以我希望我的应用程序能够构建在Hadoop上进行报告和分析。有人可以建议我任何方法，我需要使用什么工具。

Answer 1

简短的回答是：这取决于。

卸载从Oracle数据我会建议你使用Sqoop（http://sqoop.apache.org/），它是专为这个特定的使用情况，甚至可以做增量负载，可以卸载的数据

当数据创建蜂巢表卸载后，您可以使用Impala构建您所需的报告。 Impala本身可以与Hive表一起工作，所以唱歌非常简单。当然，您必须将您的SAS代码重写为一组可以在Impala上运行的SQL语句。

接下来，如果你需要的可视化工具，在它上面运行，你可以尝试这样的Tableau或任何其他工具，它能够利用ODBC/JDBC来连接黑斑羚

最后，我认为Hadoop的+ Sqoop + Impala将覆盖您的需求。但我建议你也看看MPP数据库，因为使用SAS意味着你有相当结构化的数据，MPP数据库将更适合这种情况。