2017-06-05 44 views
1

我想创建一个存储为ORC(HD洞察数据湖)并按日期分区的Hive表的Azure数据仓库中的polybase外部表当我查询外部表时,它没有任何适当的错误消息在SQL Server中失败。HdInsight Azure DW Polybase到蜂巢表(ORC)与日期分区失败

当我不使用分区我能够使用外部表访问配置单元ORC表,但与分区我越来越低错误没有任何适当的错误消息。

错误:

消息106000,级别16,状态1,行33指数:23,大小:23

详细信息:

蜂巢表:

创建外部表DL_ClickStream_fnl(

。)PARTITIONED B Y(TIME_STAMP日期)保存为ORC;

天青DW外部表:

创建外部TABLE [STG] [dl_clickstream_procd](

。)WITH(DATA_SOURCE = [AzureDataLakeStore_clusters],LOCATION = N。 'clusters/BLMSpark/hive/warehouse/coremetrics.db/dl_clickstream_procd',FILE_FORMAT = [ORCFileFormat_DL],REJECT_TYPE = VALUE,REJECT_VALUE = 2)

文件格式:

CREATE外部文件格式[ORCFileFormat_DL] WITH(FORMAT_TYPE = ORC)

+0

嗯,不是Azure SQL数据仓库仅支持Polybase与Azure Blob存储和Azure Data Lake之间的连接吗?查看黄色箭头[这里](https://docs.microsoft.com/en-us/sql/relational-databases/polybase/polybase-guide)。 SQL Server 2016和APS可以连接到Hadoop。细微呵呵。 – wBob

回答

0

在蜂房分配塔是衍生关闭的目录元数据的一个虚拟列。 PolyBase直接读取文件无法填充分区列。在你的SQL DW外部表DDL中,删除按列分区,你的负载应该工作。