在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose
时间:2021-07-01 10:21:17
帮助过:14人阅读
我写的程序可以运行,但是总会出现以下异常中断运行,然后再运行程序时,就没问题了,很多次了
1.java.net.SocketTimeoutException: Read timed out
2.java.net.SocketTimeoutException: connect timed out
3.java.net.ConnectException: Connection timed out: connect
以上三个异常,经过跟踪确定都是在执行这句代码时出现的:
doc = Jsoup.connect( url) .data("query", "Java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(300000)
.post();
请问各位大神我这是什么个情况,该怎么解决啊? 因为这程序是用来爬取网页数据的,一直要循环加载上万条子网页的 url,是不是因为这个造成的啊?我该怎么解决呢?求各位大虾指点,泣不成声,泣不成声....
回复讨论(解决方案)
网络不稳定或者请求网页过时
你没有用个异常处理
你现在是io操作而且是远程的
整个运行环境你并不能完全确认是 不会出现问题
所以你至少要捕获异常 并且重新开始你刚才在异常下中断的任务