Azure物联网数据仓库更新

我正在构建BI项目的Azure IoT解决方案。现在，我有一个应用程序，每个设置的时间窗口将一个.csv blob发送到Azure Blob存储，并为其增加名称。所以一段时间后，我将在我的存储文件中有'data1.csv'，'data2.csv'，'data3.csv'等。Azure物联网数据仓库更新

现在我需要将这些数据加载到数据库中成为使用Azure Stream Analytics作业的仓库。这个问题可能是.CSV文件将有重叠的数据。它们将每隔4小时发送一次，并包含过去24小时的数据。我需要始终只读取最后一个文件（最高编号）并准备查找，以便正确更新仓库中的数据。使Stream Analytics只读最新文件并更新数据库记录的最佳方法是什么？

编辑：澄清 - 我完全意识到ASA不能成为ETL工作。我的问题是，这将是对我的情况下，最好的办法，使用物联网工具

来源

2017-05-29 Chaki

AFAIK ASA是流数据，不能退或快进在“流”所以不可能解决重叠问题。也许Azure Data Factory是一个更好的解决方案。或将.csv文件存储在Azure Data Lake Store中，并使用Azure Data Lake Analytics创建转换数据的作业。 –

我建议这2种方法之一：

使用ASA在临时SQL表写，并使用SQL触发器用diff来更新DW的主表。
或如本文中描述通过添加唯一约束删除重复： https://blogs.msdn.microsoft.com/streamanalytics/2017/01/13/how-to-achieve-exactly-once-delivery-for-sql-output/

感谢， JS - Azure的数据流分析

来源

2017-06-03 00:21:02

Azure物联网数据仓库更新

回答

相关问题