脚本不会停止，同时关闭浏览器或单击中止

Question

我写了一个do while循环量3秒

完全有7000位调用网页中的WebCrawler的...我分析数据并保存在我的数据库。

有时因为脚本加载了很长一段时间，我得到了在浏览器超时，

但在后台我还在继续。我在我的数据库中看到这一点。

我可以预防这种情况吗？现在只要停止网络服务器就可以了。

谢谢，最好的问候。

Answer 1

您的网页正在启动服务器端进程。杀死你的浏览器或关闭它并不会阻止它。这听起来像一个网页来控制这是错误的方法，你应该看看像WinForms/WPF应用程序的连接形式的应用程序。有办法让这个与ASP.NET一起工作，但它们不会很简单。我认为你刚刚选择了错误的技术。

Answer 2

从网页开始这样一个密集的，长期运行的过程几乎从来都不是一个好主意。有很多原因，但主要原因是：

1）如果您在浏览器中得到超时（这是您的方案），您收集的数据可能不会显示。

2）如果在浏览器中进行刷新，会发生什么情况？它会不会重新启动整个过程？如果攻击者希望绑定所有服务器资源，那么这是攻击者的一个简单目标。

3）您正在抓取的数据是否真的可能发生变化，以至于您需要“实时”抓取？运行爬网的后台定时作业同样适用于99％的情况，而您的前端仅显示数据库的内容。

我会认真地推荐您重新考虑您的抓取策略，以便更可控和稳定。