Hadoop与SAS连接

我想使用SAS/ACESS 9.3M2接口将sas与我的Hive连接。我的问题是， sas是否将配置单元导入sas环境并在其中查询？或它再次打开配置单元用于报告，以便运行MR，这会使我的报告性能降低到超过2-4秒。Hadoop与SAS连接

如果它将hive表导入其环境与普通的sql多维数据集相比，它的性能如何？

我对sas完全陌生我希望我的报告在2-4秒内生成，其中我的聚合数据位于Hive表中，然后我创建了多维数据集维度。

谢谢...

2013-08-21 sudheer

什么SAS/ACCESS服务于就是： - 为您提供读取数据和/写入数据源，照顾的数据类型转换的能力 - 提供有关的元数据数据存储（表的列表，字段，数据类型） - 提供一种意思（也可以部分）将SAS代码转换为数据源特定代码（通常为SQL变体等） - 为您提供一种写数据源的方法特定的代码，并从SAS发送它在数据源中执行

我完全是Hadoop的新手:-)所以我会只是猜测SAS/Hadoop访问（通过LIBNAME语句）从Hadoop读取关系数据，文档中提到了JDBC，所以我想这用于数据访问。我很怀疑SAS/Access能够从Hadoop查询多维数据集（这是您的问题吗？） - “我已经创建了多维数据集维度” - 意味着Hadoop？）。

通常，SAS/Access会尽量减少数据源的数据传输，并尝试将处理推送到数据源。

从http://blog.cloudera.com/blog/2013/05/how-the-sas-and-cloudera-platforms-work-together：

SAS/ACCESS到的Hadoop

SAS/ACCESS提供访问存储在Hadoop的在SAS本地数据集的能力。随着SAS /访问Hadoop的：

LIBNAME statements can be used to make Hive tables look like SAS data sets on top of which SAS Procedures and SAS DATA steps can interact. 
PROC SQL commands provide the ability to execute direct Hive SQL commands on Hadoop. 
PROC HADOOP provides the ability to directly submit MapReduce, Apache Pig, and HDFS commands from the SAS execution environment to your CDH cluster.

的SAS/ACCESS接口可以从SAS 9.3M2版本，并支持CDH 3U2以及CDH 4.01或更高。

也可能在 http://support.sas.com/documentation/cdl/en/proc/65145/HTML/default/viewer.htm#p1esotuxnkbuepn1w443ueufw8in.htm

来源

2013-08-21 15:14:01 vasja

由于这是更多的信息我在Hadoop的工具工作过去1年是有帮助的PROC HADOOP。 Hive不是为报表目的，如果我们从配置单元查询，它是为运行MapReduce作业的数据仓库类应用工具，它主要用于处理海量数据。 soo在我的应用程序中，我处理数据并将我的结果再次存储在配置单元表中，然后对该结果数据创建多维数据集视图。我知道配置单元与SAS有连接。所以我想用这个来报告目的。 – sudheer

但正如我在[link]（http://support.sas.com/documentation/cdl/en/bidsag/65687/HTML/default/viewer.htm#n1vhinse09cw5on1vmcvop1tnbi0.htm）中看到的通过配置单元的SAS连接架构，我很怀疑sas是否将表格导入到本地并运行报表？这个短语解释说我的理解错了吗？通常SAS/Access会尽量减少来自数据源的数据传输并尝试将处理推送到数据源.......？ SAS/ACCESS提供了以本地方式访问SAS中Hadoop中存储的数据集的功能。通过SAS /访问Hadoop：.....？ – sudheer

我猜SAS视觉分析可以完成我的工作SAS LASR守护进程在Hadoop集群的每个节点上运行。根据管理策略，数据从HDFS文件系统加载到LASR守护进程中。所以我猜想可以通过这个来完成报告..我的理解有没有差距？ – sudheer

Hadoop与SAS连接

回答

相关问题