我的蜘蛛服务意外停止？

Question

我有一项服务，可以拖动我们的网站以获取大量数据。这需要花费大约3天时间（猜测是因为它还没有成功运行整个过程！）在5个不同的线程获取数据并将其放入数据库中。如果WebClient.DownloadData失败，那么错误会记录在数据库中，并且会被忽略，但是在早上大约凌晨3点，服务在大约2000次失败的Web请求后停止。他们返回远程服务器521异常或操作超时。我也有一个意想不到的异常，但它并没有进入！我一直在努力修复这个错误数周，但是要让错误发生是一个漫长的过程！有没有人有任何想法，为什么这会继续发生？

Answer 1

你会需要给我们更多的细节，我想，和一些代码片段，

我想，从你的描述，你有两个问题 - 一个网页请求开始521个错误失败，和，二，您的服务停止。

鉴于服务在大量Web请求失败后停止，我会查看某种资源耗尽 - 内存不足吗？文件句柄？主题？还有别的吗？当Web请求失败时，您的应用程序会做什么？

Answer 2

有点听起来像是内存泄漏给我，或者调用堆栈太深了，蜘蛛只是资源耗尽。我遇到了像这样的问题，构建了非常大的多维数组来使用SVD关联搜索词。