mrjob

3热度

1回答

简而言之：在使用MRJob时，“socket.error：[Errno 104]由对等方重置连接”异常。该脚本实际上可以访问S3，因为它确实创建了存储区并上传了一些小文件（我通过AWS控制台手动检查过）。但是最大的文件 - 输入 - 不会被上传。嘿，它只有7GB的测试数据！已经尝试了4次，总是得到错误。 mrjob == 0.4.2 CONFIG # cat /etc/mrjob.conf r

0热度

1回答

如何使用mrjob mapper reducer在Python中编写迭代，计数器是循环中计算的一部分？

我有一个程序，迭代mapper和reducer连续的n次。但是，对于每次迭代，每个键 - 值对的映射器都会计算出一个取决于n的值。 from mrjob.job import mrjob class MRWord(mrjob): def mapper_init_def(self): self.count = {} def mapper_count(sel

1热度

1回答

Map-Reduce/Hadoop按整数值排序（使用MRJob）

这是一个简单的Map-Reduce排序功能的MRJob实现。在beta.py： from mrjob.job import MRJob class Beta(MRJob): def mapper(self, _, line): """ """ l = line.split(' ') yield l[1], l[0] def

2热度

2回答

未能在python中使用mapreduce

我想学习使用python mrjob的mapreduce程序。我收到以下错误：回溯： dumping stdin to local file /tmp/pyes_mrjob.testuser.20131004.103251.998597/STDIN Making directory hdfs:///user/testuser/tmp/mrjob/pyes_mrjob.user.20131004

4热度

1回答

为什么我使用mrjob运行python文件时出现“WindowsError [Error5]访问被拒绝”

我试图在一个python文件中使用mrjob并在命令行中运行它，但我不断收到错误日志： C:\Users\Ni\Desktop>python si601lab6_sol.py pg1268.txt no configs found; falling back on auto-configuration no configs found; falling back on auto-configu

0热度

1回答

在CDH虚拟机上找不到python mrjob模块

我正在使用Mrjob在Hadoop中运行python代码。我在单个节点群集上使用CDH软件包和虚拟机。我mrjob正确运行，当我测试本地代码，但是当我跑了Hadoop集群，它抛出一个错误： No module named mrjob 当我删除“命令”蟒蛇之前命令，我得到了以下信息。 no configs found; falling back on auto-configuration no c

1热度

1回答

MRJob错误

我尝试使用Hadoop集群中运行一个python工作，MRJob和我的包装脚本如下： #!/bin/bash . /etc/profile module load use.own module load python/python2.7 module load python/mrjob python path_to_python-script/mr_word_freq_count.p

1热度

1回答

使用MRJob更改Mapreduce中间输出位置

我想在群集中运行一个使用MRJob的python脚本，其中我没有管理权限并且粘贴了下面的错误。我认为正在发生的事情是，该作业尝试将中间文件写入默认/ tmp .... dir，并且由于这是一个受保护的目录，我无权写入该目录，因此作业接收到错误并且退出。我想知道如何将此tmp输出目录位置更改为我的本地文件系统示例中的某个位置： /home/myusername/some_path_in_my_loc

1热度

1回答

Hadoop在重新启动时删除MapReduce历史记录

我正在使用TestDFSIO和TeraSort基准测试工具进行多个Hadoop测试。我基本上用不同数量的datanodes进行测试，以评估处理能力和数据节点可伸缩性的线性。在上述过程中，我显然必须重启几次所有的Hadoop环境。每次我重新启动Hadoop时，所有MapReduce作业都将被删除，作业计数器将再次从“job_2013 * _0001”开始。出于比较的原因，保持我之前启动的所有Map

2热度

2回答

s3distcp错误“参数‘--arg’不匹配”

我试图使用s3distcp为EMR工作，得到这个异常： Exception in thread "main" java.lang.RuntimeException: Argument --arg doesn't match. at emr.hbase.options.Options.parseArguments(Options.java:75) at emr.hbase.o