azure-data-lake

1热度

1回答

我想了解谷歌的Big query和Azure数据Lake U-SQL之间的差异或优缺点。哪个更好？我详尽地搜索了最大的区别是什么，但无法找到它。

0热度

1回答

从Visual Studio的服务器资源管理器探索Data Lake Analytics帐户停止使用InternalServerError

从Visual Studio的服务器资源管理器中扩展Azure Data Lake Analytics帐户时出现以下错误。它工作正常，但最近它停止工作。我不确定是什么导致了这个问题，我该如何解决它。顺便说一下，我正在使用VS2015。 Hyak.Common.CloudException: InternalServerError: Internal Server returned Internal

6热度

2回答

U-SQL无法从JSON文件中提取数据

我试图使用USQL从JSON文件中提取数据。查询成功运行而不产生任何输出数据或导致“顶点失败的快速错误”。 JSON文件看起来像： { "results": [ { "name": "Sales/Account", "id": "7367e3f2-e1a5-11e5-80e8-0933ecd4cd8c", "deviceName": "HP"

2热度

1回答

Azure Data Lake Store并发性

我一直在使用Azure Data Lake Store并在文档中声明Microsoft声称系统针对低延迟小写入文件进行了优化。测试它我试图对并行任务执行大量的写入单个文件，但是这种方法在大多数情况下会返回一个错误的请求。这个链接https://issues.apache.org/jira/secure/attachment/12445209/appendDesign3.pdf表明HDFS不是用来处

1热度

1回答

以U-SQL

与时间跨度的工作假设我有以下表和数据库： CREATE TABLE Table1 ( start DateTime, end DateTime, activityId Guid, level string, INDEX Table1 CLUSTERED(start ASC) PARTITIONED BY HASH(level) ); 而且我想获

1热度

2回答

调试u-sql作业

我想知道是否有任何提示和技巧来发现数据湖分析作业中的错误。错误消息似乎大部分时间不是很详细。当试图从CSV文件中提取我经常收到错误这样 Vertex failure triggered quick job abort. Vertex failed: SV1_Extract[0] with >error: Vertex user code error. Vertex failed with a f

0热度

1回答

ADLA/U-SQL错误：顶点用户代码错误

我只是有一个简单的U-SQL，它使用Extractors.Csv(encoding:Encoding.[Unicode]);提取csv并输出到一个湖泊存储表中。该文件大小为600MB左右，并且是unicode类型。行数为700K + 这些都是列： UserId int, Email string, AltEmail string, CreatedOn DateTime, IsDeleted

1热度

1回答

查询非常大的XML文件

我有一个GB的规模合并非常大的XML文件。我在xpath查询中使用以下代码来读取和处理数据。 IColumn column = output.Schema.FirstOrDefault(col => col.Type != typeof(string)); if (column != null) { throw new ArgumentException(

0热度

3回答

自定义并行提取器 - U-SQL

我尝试创建一个自定义并行提取器，但我不知道它是如何正确的。我有一个大文件（超过250 MB），其中每行的数据存储在4行中。一个文件行存储一列的数据。这可能为大文件创建工作并行提取器吗？恐怕一行的数据在文件分割后会有不同程度的变化。例子： ... Data for first row Data for first row Data for first row Data for first

0热度

2回答

如何在不分割的情况下强制在一个节点上进行文件处理？

是否可以在不分割的情况下强制在一个节点上进行文件处理？我试图使用AtomicFileProcessing设置为true，但它不起作用。