disco

    0热度

    1回答

    我想修改高级教程的innerjoin-例子,使它可以使用mapreduce进行稀疏矩阵乘法(由Ullman描述)。因此,我需要第二个映射 - 减少步骤在结果矩阵中求和相等位置的值。 不幸的是,我没有设法得到类CsvInnerJoin的第一个reduce函数的输出到SumJob的map函数中。 import sys sys.path.append("/home/damian/disco/lib/"

    0热度

    1回答

    我是迪斯科的新手,只是想玩弄它。所以我试图设置documentation中描述的最简单的实例。 Erlang和Python被安装,我做了Git checkout,运行make并通过bin/disco nodaemon启动Disco。您可以在下面看到启动从站时的错误消息。由于我是新手,我没有胶水可能是错误的以及如何调试。任何提示将非常感激。 Eshell V5.10.2 (abort with ^G

    3热度

    2回答

    我一直在这里以下教程:http://discoproject.org/doc/disco/start/install.html ,并已成功的最多,我运行脚本的点。我得到的错误: no module named disco.core 我已经安装迪斯科根据上述说明,但这似乎并没有安装python库。 我曾尝试使用畅达,PIP它安装,并没有任何运气的easy_install .. 人有什么想法?

    0热度

    1回答

    我最近发现迪斯科项目,真的很喜欢它与Hadoop相比,但我有一个问题。我的项目是,像这样的设置(我会很高兴地剪切/粘贴真正的代码,如果它会帮助): myfile.py from disco.core import Job, result_iterator import collections, sys from disco.worker.classic.func import chain_re

    4热度

    1回答

    使用Visual Studio 2010,我们有几个网站(不是web应用程序项目)和命令行和winforms项目的解决方案。所有目标.Net 2.0。许多项目都在Web站点中提供了对ASMX Web服务的Web引用。 Web服务频繁变化,所以当我们编译所有东西时,我们必须手动遍历所有项目并更新Web服务引用。我现在已经成功地使用disco.exe和wsdl.exe自动化了。但是我担心wsdl.ex

    2热度

    1回答

    我与DISCO例如从文件计算的话一起阅读以下具体JSON领域: Counting Words as a map/reduce job 我没有问题得到这个工作,但是我想尝试从包含JSON字符串的文本文件中读取特定字段。 的文件有像行: {"favorited": false, "in_reply_to_user_id": 306846931, "contributors": null, "trunc

    2热度

    1回答

    我使用disco为许多不同目的运行数十个地图缩减作业。我的数据变得非常庞大,我想我会尝试使用DDFS而不是标准的txt文件进行更改。 我跟着DISCO map/reduce example Counting Words as a map/reduce job,没有太大困难,在别人的帮助下,Reading JSON specific data into DISCO我已经过去了我最近的一个问题。 我试

    0热度

    1回答

    “没有cookie文件的家”是什么意思?以及如何解决这个问题: export BINDIR=/usr/lib/disco/master/ebin/;/usr/lib/erlang/erts-5.10.4/bin/beam -K true -P 10000000 -scl false -stbt s -- -root /usr/lib/erlang -progname erl -- -home /u

    1热度

    1回答

    我的每个映射器都需要访问非常大的字典。有没有办法避免每个mapper打开它自己的副本的开销,而是让它们都指向一个全局共享对象? 任何针对DISCO或mapreduce范例的建议都会有所帮助。

    1热度

    1回答

    我希望将已完成的Disco作业直接写入mongodb。有没有简单的方法来指定迪斯科发送其数据的输出网址?