使用Azure的数据湖的分析

Question

目前作为我们的要求的一部分，我们正在与下面Azure的组件工作

• Azure的事件枢纽

• Azure的数据流分析

• Azure的表存储

• Azure SQL DB

基本上，前3个组件，我们将建立一个分析和报告平台。

目前，我们刚刚开始分析Azure表存储的数据并将其显示在分析仪表板中。

最近我们遇到了一个新的Azure产品Azure Data Lake。对微软网站做一些研究，我们可以看到我们可以轻松地将数据从Azure Table Storage（在Azure Data Factory的帮助下）迁移到Azure Lake Store。 Creating big data pipelines using Azure Data Lake and Azure Data Factory

当我们通过上述链接时，提到我们需要创建一个Azure Data Lake Analytics管道来处理数据。

所以目前尚不清楚分析输出数据的保存位置。我们是否需要将分析输出保存到某个数据库？或者我们是否可以通过Http请求进行实时分析？

我们在Azure表存储中有大量记录将被移到Azure Data Lake中。对于这种情况，这是一个不错的选择，或者我们可以从Azure表存储本身进行基于分析的解决方案。

请分享你的想法

Answer 1

您可以通过处理之后存储在Azure数据湖存储（数据仓库，使您能够存储各种以原始格式的数据没有确定的模式。）您的分析输出数据Azure数据湖分析（一种分析服务，可让您在数据集上运行作业，而无需考虑集群）。

正如您所说的那样：“我们在Azure表存储中有大量记录将被移到Azure Data Lake“。我认为对位于Azure数据存储库上的数据执行分析更加高效，因为它提供了无限制的存储空间，可立即对我进行读/写访问t并扩展您的工作负载所需的吞吐量。它还为大数据集提供低延迟的小写入。所以我相信这是Azure Table存储的更好选择。