2013-08-26 52 views
-2

我自己的VPS服务器,我想做一些与我的服务器,我有关于15K用户名的大数据。大数据与卷曲

我需要发送所有用户名作为cURL请求:website.com/getaccount.php?username=每分钟。

那么这种情况下的解决方案是什么..我不想用Cron制作它,因为它需要15K个工作,而且非常糟糕。

哪种语言可以优化15K用户? bash? perl? PHP的?如果我可以使它分开的文件和每个文件内容5K用户。

请给我一个解决方案,非常感谢..

+5

15K用户名不通过任何明智的措施“大数据”。这是很小的数据。 – Mat

+0

@StephenD好的建议吗? – SimpleojbC

+0

@亲爱的建议吗?我能做些什么来尽快完成所有卷曲请求 – SimpleojbC

回答

0

是否所有的用户名来自分钟改变一下吗?如果不是,那么把它们全部发送就没用了。只发送'删除用户1'或'添加用户2'或'将用户1重命名为用户2​​'等差异(增量)

另外,如果我正确理解您的示例,您希望为每个用户名作出cURL请求,这意味着15K请求每分钟。对我来说,这看起来像是浪费了类似于dDos攻击的资源。我希望这不是你想在自己的服务器上达到的目标。

也许尝试减少您的数据量只有相关的数据和批量所有的数据在一个单一的请求!

15K不是那么大,但你需要正确处理!

0

是否有可能创建一个文件,其中每行都是用户名。一旦你有你的文件,你可以使用工具rsync同步到任何你想要的系统。从这个系统中,你可以获取该文件来更新所有你喜欢的东西。实际上15K并不是什么大不了的,问题更多的是延迟。每分钟都很快。您可以使用任何可连接到数据源的语言生成文件,rsync可以每分钟从cron作业中触发,而不会出现任何问题。

这里cURL的使用可能是针对特定的用户名(如果存在,如果密码匹配等),但这里我能看到您的请求的唯一原因是用于备份,正如我说的一分钟是非常对此很快。

3

如果我正确理解你的问题,你很可能希望通过使用作业服务器如Gearman

的Gearman是非常灵活的分配这个大的工作,你可以用它来批量处理大量的并行工作非常迅速。

当谈到你应该使用什么样的语言......我会用任何你在舒服。我已经处理大型作业(比你所描述的一个大得多)使用庆典 + PHP以往。 Php有一些非常好的包装库,你可以用它来快速启动。

希望这可以帮助你走向正确的方向。

建议链接:

Gearman PHP Extension - Quick Start

PHP daemon for managing gearman workers

Basic Gearman client and worker, submitting tasks

0

如果我知道你要发送的所有用户数据通过卷曲一个遥远的PHP脚本是不是? 如果它的情况下,你可以使用Python写一个小脚本有休眠功能那大火每1MN

语法:

进口时间 time.sleep(秒)