我有一个每天将文件导入Data lake store的软件包。这是不同的值(相同的列等)相同的文件。我的想法是将这些文件合并到Data Lake上的单个文件中,以获得月度报告。我想调查U-SQL,所以我的问题是:
这可能与U-SQL有关吗?
如果不可能有其他的选择吗?合并来自Data lake store的文件
0
A
回答
3
很容易合并两个文件中的记录并写入一个新文件。下面是步骤
- 使用EXTRACT
- 使用EXTRACT 读取当前主文件的所有记录读取所有新文件的
- 使用UNION ALL的记录合并:https://msdn.microsoft.com/en-us/library/azure/mt621340.aspx
- 输出写入使用OUTPUT语句
主文件对于一个快速的U SQL教程去这里:https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-get-started
0
我没有在Azure数据库中调用过,但我可以想象,Microsoft的数据工具可以为此创建一个应用程序。可以试试吗?
相关问题
- 1. Azure Data Lake Store并发性
- 2. Azure Data Lake Store - 文件权限更新
- 3. Azure Data Lake:对Azure Data Lake Store的请求未经授权
- 4. SSIS组件 - Azure Data Lake Store源无法加载平面文件
- 5. Usql与Azure Data Lake Store .net SDK
- 6. 从Azure Data Lake Store .NET SDK创建文件
- 7. Azure Data Lake Store - 从文件读取时出错
- 8. 如何使用SSIS将文件上传到Azure Data lake store?
- 9. 无法提供从HDInsight群集访问Azure Data Lake Store文件
- 10. 我们如何在Azure Data Lake Store文件夹内复制任何文件
- 11. 使用Azure Data Lake Store的MsConcat函数合并CSV文件时,可以跳过标题行吗?
- 12. 将Azure事件中心与Data Lake Store连接
- 13. Hadoop Vs Data Lake
- 14. 具有WebJob/Azure功能的Azure Data Lake Store和Azure SQL
- 15. 对Data Lake Store链接服务的Azure批处理支持
- 16. 是否有适用于Azure Data Lake Store的本地模拟器
- 17. 微软Azure Data Lake存储
- 18. 来自.Net SDK的Data Lake Analytics调用(用户不授权)
- 19. Azure Data Lake Store SDK:FileStatusProperties.ChildrenNum属性始终为空
- 20. AWS Data Lake Dynamo与ElasticSearch
- 21. Azure Data Lake Count所有项目
- 22. 合并来自不同文件的列
- 23. 授权超时:Azure数据工厂中的Azure Data Lake Store配置
- 24. 将DocumentDB集合移动到Azure Data Lake存储
- 25. Azure Data Lake中的U-SQL输出
- 26. 如何通过azure power shell命令读取Azure Data Lake Store中存在的文件?
- 27. 如何将日期时间附加到由数据工厂发布到Azure Data Lake Store的文件名?
- 28. 如何将JSON文件上传到Azure Data Lake表
- 29. 如何配置flink以了解Azure Data Lake文件系统?
- 30. Azure Data Lake Analytics中的内存限制
谢谢你的回答。我会尝试使用此 https://msdn.microsoft.com/en-us/library/azure/mt621340.aspx?f=255&MSPPError=-2147217396 – DraganB