当前位置:Gxlcms > PHP教程 > javascript-PHP爬取网页的时候遇到JS定时跳转

javascript-PHP爬取网页的时候遇到JS定时跳转

时间:2021-07-01 10:21:17 帮助过:6人阅读

抓取到的网页内容为













爬取程序得到状态码是200
用fiddler抓取浏览器链接发现状态码是302
header中有Location: /(e24a2c455vo1xe45nlqfme55)/default2.aspx

是不是因为curl爬取到JS页面因为是定时700毫秒跳转所以curl就以为没有跳转就停止了?这该如何解决?用正则去匹配吗?

回复内容:

抓取到的网页内容为













爬取程序得到状态码是200
用fiddler抓取浏览器链接发现状态码是302
header中有Location: /(e24a2c455vo1xe45nlqfme55)/default2.aspx

是不是因为curl爬取到JS页面因为是定时700毫秒跳转所以curl就以为没有跳转就停止了?这该如何解决?用正则去匹配吗?

分2步, 第一步抓你这个页面,提取js中的链接。 第二步抓取js中链接对应页面。
可能要注意在多个页面中同步cookie. 具体可以查手册里 curl cookieJar cookieFile。

因为抓取程序不是浏览器,并不会执行script内的代码

人气教程排行