python-gearman

0热度

1回答

我正在使用Scrapy 1.0.5和Gearman来创建分布式的蜘蛛。这个想法是建立一个蜘蛛，从一个齿轮工人脚本中调用它，并一次传递20个URL，从齿轮人客户端爬到工人，然后爬到蜘蛛。我能够启动工作者，将URL从客户端传递到蜘蛛爬行。第一个URL或URL数组会被抓取并抓取。蜘蛛完成后，我无法重用它。我得到蜘蛛关闭的日志消息。当我再次启动客户端时，蜘蛛会重新打开，但不会抓取。这里是我的工人：

2热度

1回答

Python的Gearman的基本的例子错误

我想串逆转的使用Python的Gearman模块我的本地已设立使用端口4730 IIS但是我得到的错误 raise UnknownCommandError(missing_callback_msg) UnknownCommandError: Could not handle command: 'GEARMAN_COMMAND_TEXT_COMMAND' - {'raw_text': 'HTTP

1热度

1回答

从本地gearman客户端调用远程gearman工人？

是否可以从本地系统调用远程gearman工人？我试图用我的远程蔚蓝的服务器IP呼叫：客户端在本地系统上： gm_client = gearman.GearmanClient(['204.43.9.41:4730']) sent = sys.argv[1] completed_job_request = gm_client.submit_job("load_db", sent) 远程工作人

1热度

2回答

如何推迟/推迟Gearman工作？

我正在使用gearman来同步不同服务器上的数据。我们有1主服务器以及例如10个本地服务器。让我描述一种可能的情况。比方说，齿轮工人开始工作，5个工作完成，5台服务器上的数据被同步。当下一份工作开始时，比如说，我们失去了与服务器的连接，现在它不可用。通过齿轮工的逻辑，它一次又一次地重试。所以剩下的工作（对于服务器7,8,9,10）将不会执行，直到第六个工作没有完成。最好的解决办法是推迟工作并将其放

0热度

1回答

gearman停止启动重启命令

启动，重启和停止的命令是什么gearman？到目前为止，我知道： gearadmin --shutdown # stop gearmand -d # I believe it is to restart. Not sure. 任何想法来管理gearman？

-1热度

1回答

如何使用Django，Tastypie，Redis和任务队列Gearman创建像Facebook这样的新闻动态？

任何人都可以推荐或创建一个关于如何使Facebook类似于使用Django，Tastypie（Django的webservice API框架），Redis（键值存储）和Gearman（任务队列）的新闻Feed的教程？当前我有用户模型，发布模型，收藏夹模型和评论模型。我使用这些模型创建了Tastypie资源，以支持收藏，喜欢，评论和发布。我想知道如何生成直接应用于用户的feed动作。例如： Us

0热度

1回答

是PYTHON Gearman Worker接受多任务

例如：我有一个名为“URLDownload”的任务，任务的功能是从网上下载一个大文件。现在我有一个工作进程正在运行，但有大约1000个文件需要下载。客户端进程很容易创建1000个任务，并将它们发送到Gearman服务器。我的问题是工作进程会做的任务一个接一个，否则将在同一时间接受多任务，如果工作进程，可以接受多任务，所以如何限制任务工作进程中的-pool-size。

1热度

2回答

错误运行基本的Python-Gearman的例子

我试图运行使用python-的Gearman库提供here的Gearman的一个基本的例子。我正在运行的Python 2.7.3 工人： import gearman gm_worker = gearman.GearmanWorker(['localhost:4730']) def task_listener_reverse(gearman_worker, gearman_job):

1热度

1回答

的Gearman提交多个作业AttributeError的：“海峡”对象有没有属性“得到”

我想在这里实现的是提交多个作业到的Gearman和打印结果返回由工人一旦他们完成与处理工作。我已经通过实例上写着： https://pythonhosted.org/gearman/1to2.html#client-multiple-tasks https://pythonhosted.org/gearman/client.html 我又试图实现以下方式check_request_status：

0热度

1回答

在Python中将数组传递到类中

我是一个php的家伙，我不太了解python，所以......如果我的问题很愚蠢，不好意思。我有2个PHP脚本（client.php和worker.php）使用Gearman，我需要转换为Python版本。我已经能够部分地做到这一点，但我被卡住了。首先，这里有我的两个脚本： client.py #!/usr/bin/env python import gearman import json