mrjob

2热度

1回答

我有一个python文件来计算在Hadoop（版本2.6.0）上使用mrjob的bigrams，但是我没有得到我期望的输出因为我无法破译我的终端中的输出，因为我错了。我的代码： regex_for_words = re.compile(r"\b[\w']+\b") class BiCo(MRJob): OUTPUT_PROTOCOL = mrjob.protocol.RawProt

1热度

1回答

socket.gaierror尝试使用python mrjob运行emr

我当前正在尝试学习mrjob以及如何在AWS EMR中实现它，所以请原谅我，如果我询问已询问的问题[搜索了很多地方但未找到答案]和抱歉，如果这是一个愚蠢的问题这是我的Python脚本： from mrjob.job import MRJob class MRWordFrequencyCount(MRJob): def mapper(self, _, line): yi

0热度

2回答

如何获得mrjob中文本的平均单词数？

进出口套牢在mrjob mareduce框架一个简单的问题：我想在一个给定的parragraph字的平均数，我得到这个： class LineAverage(MRJob): def mapper(self, _, line): numwords = len(line.split()) yield "words", numwords yield "lines", 1

1热度

1回答

MRJob - 限制任务尝试次数

在MyJob中，如何限制任务尝试次数（如果任务失败）？我有很长时间的运行任务（相应地增加了超时时间），但是我希望在同一任务失败两次尝试后结束作业，而不是4-5。我不能在这个文档中找到这样的事： http://mrjob.readthedocs.org/en/latest//en/latest/guides/configs-reference.html

1热度

1回答

MrJob花费了大量的时间复制本地文件到HDFS

我现在遇到的问题是这样的：在已经把我的input.txt（50MBytes）文件到HDFS，我跑 python ./test.py hdfs:///user/myself/input.txt -r hadoop --hadoop-bin /usr/bin/hadoop 看来， MrJob花费大量时间将文件复制到hdfs（又是什么？） Copying local files into hdfs

2热度

1回答

将Comomn抓取位置作为使用mrjob的Amazon EMR输入python

自从我开始使用mrjob并且我已经尝试了某些中低级任务以来，我只有几天的时间了。现在，我坚持将常用抓取[now onwards will be know as CC]位置作为emr的输入使用python mrjob 我的配置文件看起来像这样： runners: emr: aws_access_key_id: <AWS Access Key> aws_secret_ac

2热度

1回答

错误在Mac上安装mrjob（OS X 10.11.1）

打字在终端 pip install mrjob 提供了错误信息： “NameError：名称 '的execfile' 没有定义” 和 “命令” 蟒蛇setup.py egg_info “在/私人失败，错误代码1 ...” 使用 sudo pip install mrjob 也给出了同样的错误消息。此外，它给出了以下消息： Password: The directory '/Users/.../Li

1热度

1回答

Amazon EMR + mrjob：引导程序错误，“引导操作1返回了非零返回码”

我试图在使用ec2实例的Amazon EMR上运行mrjob。它一直在工作，直到我意识到我正在使用python包（机械化，BeautifulSoup，boto）。所以，我加入到我的mrjob.conf文件，但现在我不断收到此错误： No handlers could be found for logger "mrjob.emr" Traceback (most recent call last)

3热度

1回答

不能运行python MRJob本地

如果我理解正确MRJob，您可以通过运行它与 python mrfile.py -r local input.txt 模拟使用MRJob Hadoop的多进程运行，我运行Windows（现在别无选择），当我发出上面的命令，我得到一堆曼波巨无霸，并在最后它告诉我： WindowsError: [Error 2] The system cannot find the file specified

0热度

1回答

这个MRJob例子说明

from mrjob.job import job class KittyJob(MRJob): OUTPUT_PROTOCOL = JSONValueProtocol def mapper_cmd(self): return "grep kitty" def reducer(self, key, values): yield No