apache-tez

    7热度

    1回答

    在Tez paper从Saha等,的Hadoop 2与TEZ以下模块化架构被示出: 为什么会有人上TEZ运行火花/弗林克? 有什么优势?更好地利用YARN?

    1热度

    1回答

    我已经安装了Apache Tez 0.8.1,Hadoop 2.7.0版和Hive 2.01版。我能够成功运行Map Reduce Jobs.But,当我配置配置单元并试图运行一个简单的计数查询,它返回下面的错误。从错误它试图寻找一个jar,我已经把jar放在classpath中,但仍然没有解决错误。 请帮我解决这个问题。 hive> select count(*) from sample1;

    0热度

    1回答

    我想在Hive v1.2.1中执行以下查询,其中field_3是从另一个表中查询的。 select user_id, start_date, field_3 as stop_date from some_table; 对于返回的每个记录,field_3的值是相同的。问题是它存储在另一个表中。为了得到这个价值,我可以得到它如下。 select max(some_field) as stop_d

    8热度

    1回答

    问题 - 我在AWS EMR运行1个查询。它通过抛出异常失败 - java.io.FileNotFoundException: File s3://xxx/yyy/internal_test_automation/2016/09/17/17156/data/feed/commerce_feed_redshift_dedup/.hive-staging_hive_2016-09-17_10-24-2

    3热度

    1回答

    我有一个查询及其关联的query and query plan(请参阅要点)的模拟数据。 在表lte_data_tenmillion行数是千万 表中的用户数据的行数是100000 对于两个表没有行具有在subscriber_id列中的空值。 我发现很难理解为什么查询计划显示扫描的行数(应用谓词后:subscriber_id不是null(类型:布尔值))恰好为原始行数的一半。 类似的情况是用户表的过

    2热度

    1回答

    我得到的Hadoop集群LeaseExpiredException - 尾-f /无功/日志/ Hadoop的HDFS/Hadoop的HDFS-的NameNode-IP-172-30 -2-148.log 2016年9月21日11:54:14533 INFO BlockStateChange(在8020 IPC服务器处理器10 ):BLOCK * InvalidateBlocks:添加blk_10

    0热度

    1回答

    我已经试过几个选择,但我只看到配置设置合并小文件能像下面大文件蜂巢ORC表,但反之versa.I正在寻找创建的文件大小150kb。 set hive.merge.tezfiles=true; set hive.merge.smallfiles.avgsize=128000; set hive.merge.size.per.task=128000;

    0热度

    1回答

    我有一个奇怪的问题蜂巢壳。我使用Apache原始包创建了一个Hadoop系统。我用tez。 为了测试系统,我将NY出租车数据加载到蜂巢中没有任何问题。数据集有大约1100万行。如果我在蜂巢外壳中选择Stages,它正在工作。如果我使用的功能,如本 select count(*) from yellow; 或 select sum(trip_distance) from yellow where

    2热度

    1回答

    我使用Hive2与TEZ。当我运行查询它给出了如下图所示执行错误。 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask ERROR [432a4475-d246-4596-ad4c-54de6fea86c8 main] exec.Task: Failed to execut

    2热度

    1回答

    我想在Hive-Tez上运行查询后获取Map-Reduce日志的解释? INFO之后的内容:传达的是什么? 这里我附上一个样本 INFO : Session is already open INFO : Dag name: SELECT a.Model...) INFO : Tez session was closed. Reopening... INFO : Session re-esta