我试图限制与JSoup下载的页面/链接的大小,给出类似如下(Scala代码):如何用jsoup限制下载大小?
val document = Jsoup.connect(theURL).get();
我想只得到前几KB一个给定的页面,并停止尝试下载。如果有一个非常大的页面(或者theURL
是一个不是html的链接,并且是一个大文件),我不想花时间下载其余的。
我的用例是一个IRC bot的页面标题snarfer。
奖金的问题:
有什么理由Jsoup.connect(theURL).timeout(3000).get();
上没有大文件超时?如果有人粘贴像永不落幕的音频流或大ISO(可以通过在不同的线程中获取URL标题来解决(或者使用Scala演员并在那里定时)来解决这个问题),那么它最终会导致bot僵住。但是,看起来像一个非常简单的机器人,当我认为timeout()
应该完成相同的最终结果)矫枉过正。