Q

针对爬虫存储系统所需的建议

2011-03-20 34 views 1 likes

1

我打算在C++中编写一个爬网程序，每天爬行N个页面。主要问题是我对存储系统感到困惑。所以我需要一个分布式数据库来存储我的爬行数据。任何人都可以建议我符合条件的数据库？针对爬虫存储系统所需的建议

2011-03-20 raagavan

A

回答

0

MongoDB可能是一个很好的选择，因为它以直接和高效的方式支持几乎所有的需求（包括一个很好的查询API）。分发是通过“分片”完成的。

不要求比较数据库（通常讨论包括stackoverflow）。

2011-03-20 15:56:43

-1

除非N很大，或者您计划存储很多版本，否则您可能不需要分布式数据库。尝试从MySQL开始

2011-03-21 15:37:23 David

相关问题