php扩展名“PCNTL”适用于网络蜘蛛吗？

Question

最近我尝试写一个网页蜘蛛，所以我找到一些关于用PHP写的网页蜘蛛的项目。

在这些项目中，我发现扩展名“PCNTL”经常使用，但我找不到任何关于它的详细教程或手册。

所以我想知道扩展名“PCNTL”是否真的适合网络蜘蛛？如果不是，有什么选择。

Answer 1

“PCNTL”是具有类C过程相关功能的扩展，最值得注意的是fork。

我不确定是否有很好的教程，但您可以检查C/C++示例以了解如何使用这些PHP函数。

几年前，我们做了网络爬虫。我们没有使用fork，而是使用了一个shell脚本，它可以并行启动100个爬行器实例。

另一种选择是curl-multi，但再次没有足够的信息和教程。我们尝试了它，但我们没有发现它非常可靠，但我相信你应该检查它。

另一种选择是在Python中执行 - 有几个不同的程序库提供了很多可能性。