当前位置:Gxlcms > html代码 > 在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose

在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose

时间:2021-07-01 10:21:17 帮助过:14人阅读

我写的程序可以运行,但是总会出现以下异常中断运行,然后再运行程序时,就没问题了,很多次了

1.java.net.SocketTimeoutException: Read timed out

2.java.net.SocketTimeoutException: connect timed out

3.java.net.ConnectException: Connection timed out: connect

以上三个异常,经过跟踪确定都是在执行这句代码时出现的:

doc = Jsoup.connect( url) .data("query", "Java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(300000)
.post();
请问各位大神我这是什么个情况,该怎么解决啊? 因为这程序是用来爬取网页数据的,一直要循环加载上万条子网页的 url,是不是因为这个造成的啊?我该怎么解决呢?求各位大虾指点,泣不成声,泣不成声....


回复讨论(解决方案)

网络不稳定或者请求网页过时

你没有用个异常处理
你现在是io操作而且是远程的
整个运行环境你并不能完全确认是 不会出现问题

所以你至少要捕获异常 并且重新开始你刚才在异常下中断的任务

人气教程排行