将Azure事件中心与Data Lake Store连接

Question

从Event Hub发送数据到Data Lake Store的最佳方式是什么？

Answer 1

一种方法是编写进程从事件中心event hub API中读取消息并将它们写入Data Lake Store。 Data Lake SDK。

另一种方法是使用Steam Analytics将事件中心的数据导入Blob，Azure Automation运行powershell以读取blob中的数据并写入数据存储区。

Answer 2

除了Nava的回复：您还可以使用ADLA/U-SQL在Windows Azure Blob存储容器中查询数据。或者，您可以将Blob Store用于ADL Storage复制服务（请参阅https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-copy-data-azure-storage-blob/）。

Answer 3

我假设您要定期从EventHubs向Data Lake Store中提取数据。就像Nava说的那样，您可以使用Azure流分析从EventHub获取数据到Azure存储Blob中。之后，您可以使用Azure数据工厂（ADF）将数据定期从Blob复制到Azure Data Lake Store。有关使用ADF的更多详细信息，请访问：https://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-datalake-connector/。希望这可以帮助。

== 2016年3月17日更新。

现在支持Azure Data Lake Store作为Azure Stream Analytics的输出。 https://blogs.msdn.microsoft.com/streamanalytics/2016/03/14/integration-with-azure-data-lake-store/。这将是您的方案的最佳选择。

萨钦谢斯

项目经理，Azure的数据湖

Answer 4

不采取信贷这一点，但与社区共享：

也可以存档活动（看看属性\档案），这留下一个Avro一滴。

然后使用AvroExtractor可以作为安东尼的BLOB描述的记录转换为JSON： http://anthonychu.ca/post/event-hubs-archive-azure-data-lake-analytics-usql/

Answer 5

的方法之一是使用EventHub捕获功能（数据湖和Blob存储您的EventHub连接到数据湖目前支持）。事件中心会每隔N分钟或数据大小阈值达到数据湖。它用于优化存储“写入”操作，因为它们在高规模上很昂贵。

数据以Avro格式存储，所以如果您想使用USQL查询它，您必须使用Extractor类。 Uri给出了很好的参考https://anthonychu.ca/post/event-hubs-archive-azure-data-lake-analytics-usql/。